/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat gen_config /ssd1/cfruan/models/phi-2 --quantization q4f32_1 --conv-template phi-2 --output /tmp/tmpba9j8d1i
[2023-12-31 03:40:47] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/models/phi-2/config.json
[2023-12-31 03:40:47] INFO auto_config.py:151: Found model type: phi-msft. Use `--model-type` to override.
[2023-12-31 03:40:47] INFO phi_model.py:59: context_window_size not found in config.json. Falling back to n_positions (2048)
[2023-12-31 03:40:47] INFO gen_config.py:129: Not found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer.model
[2023-12-31 03:40:47] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer.json. Copying to /tmp/tmpba9j8d1i/tokenizer.json
[2023-12-31 03:40:47] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/models/phi-2/vocab.json. Copying to /tmp/tmpba9j8d1i/vocab.json
[2023-12-31 03:40:47] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/models/phi-2/merges.txt. Copying to /tmp/tmpba9j8d1i/merges.txt
[2023-12-31 03:40:47] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/models/phi-2/added_tokens.json. Copying to /tmp/tmpba9j8d1i/added_tokens.json
[2023-12-31 03:40:47] INFO gen_config.py:127: Found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer_config.json. Copying to /tmp/tmpba9j8d1i/tokenizer_config.json
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting bos_token_id: 1
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting eos_token_id: 2
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting temperature: 0.7
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting top_p: 0.95
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
[2023-12-31 03:40:47] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
[2023-12-31 03:40:47] INFO gen_config.py:157: Dumping configuration file to: /tmp/tmpba9j8d1i/mlc-chat-config.json
/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat convert_weight /ssd1/cfruan/models/phi-2 --quantization q4f32_1 --source-format auto --output /tmp/tmpba9j8d1i
[2023-12-31 03:40:47] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/models/phi-2/config.json
[2023-12-31 03:40:47] INFO auto_device.py:76: Found device: cuda:0
[2023-12-31 03:40:47] INFO auto_device.py:76: Found device: cuda:1
[2023-12-31 03:40:48] INFO auto_device.py:85: Not found device: rocm:0
[2023-12-31 03:40:48] INFO auto_device.py:85: Not found device: metal:0
[2023-12-31 03:40:48] INFO auto_device.py:76: Found device: vulkan:0
[2023-12-31 03:40:48] INFO auto_device.py:76: Found device: vulkan:1
[2023-12-31 03:40:48] INFO auto_device.py:76: Found device: vulkan:2
[2023-12-31 03:40:48] INFO auto_device.py:85: Not found device: opencl:0
[2023-12-31 03:40:48] INFO auto_device.py:33: Using device: cuda:0
[2023-12-31 03:40:48] INFO auto_weight.py:70: Finding weights in: /ssd1/cfruan/models/phi-2
[2023-12-31 03:40:48] INFO auto_weight.py:136: Not found Huggingface PyTorch
[2023-12-31 03:40:48] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /ssd1/cfruan/models/phi-2/model.safetensors.index.json
[2023-12-31 03:40:48] INFO auto_weight.py:106: Using source weight configuration: /ssd1/cfruan/models/phi-2/model.safetensors.index.json. Use `--source` to override.
[2023-12-31 03:40:48] INFO auto_weight.py:110: Using source weight format: huggingface-safetensor. Use `--source-format` to override.
[2023-12-31 03:40:48] INFO auto_config.py:151: Found model type: phi-msft. Use `--model-type` to override.
[2023-12-31 03:40:48] INFO phi_model.py:59: context_window_size not found in config.json. Falling back to n_positions (2048)
Weight conversion with arguments:
  --config          /ssd1/cfruan/models/phi-2/config.json
  --quantization    GroupQuantize(name='q4f32_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float32', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
  --model-type      phi-msft
  --device          cuda:0
  --source          /ssd1/cfruan/models/phi-2/model.safetensors.index.json
  --source-format   huggingface-safetensor
  --output          /tmp/tmpba9j8d1i

  0%|                                                                                                                                                                                                                                                                                     | 0/325 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:54] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/models/phi-2/model-00002-of-00002.safetensors

  0%|                                                                                                                                                                                                                                                                                     | 0/325 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.linear.bias", shape: (51200,), dtype: float32

  0%|                                                                                                                                                                                                                                                                                     | 0/325 [00:00<?, ?it/s]
  0%|▊                                                                                                                                                                                                                                                                            | 1/325 [00:00<01:30,  3.58it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO group_quantization.py:200: Compiling quantize function for key: (51200, 2560, 'float32', 'cuda')

  0%|▊                                                                                                                                                                                                                                                                            | 1/325 [00:00<01:30,  3.58it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.linear.q_weight", shape: (51200, 320), dtype: uint32

  0%|▊                                                                                                                                                                                                                                                                            | 1/325 [00:01<01:30,  3.58it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.linear.q_scale", shape: (51200, 80), dtype: float32

  0%|▊                                                                                                                                                                                                                                                                            | 1/325 [00:01<01:30,  3.58it/s]
  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.bias", shape: (2560,), dtype: float32

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.weight", shape: (2560,), dtype: float32

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO group_quantization.py:200: Compiling quantize function for key: (7680, 2560, 'float32', 'cuda')

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

  1%|█▋                                                                                                                                                                                                                                                                           | 2/325 [00:01<04:36,  1.17it/s]
  2%|████▉                                                                                                                                                                                                                                                                        | 6/325 [00:01<01:26,  3.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.out_proj.bias", shape: (2560,), dtype: float32

  2%|████▉                                                                                                                                                                                                                                                                        | 6/325 [00:01<01:26,  3.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO group_quantization.py:200: Compiling quantize function for key: (2560, 2560, 'float32', 'cuda')

  2%|████▉                                                                                                                                                                                                                                                                        | 6/325 [00:01<01:26,  3.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

  2%|████▉                                                                                                                                                                                                                                                                        | 6/325 [00:02<01:26,  3.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

  2%|████▉                                                                                                                                                                                                                                                                        | 6/325 [00:02<01:26,  3.70it/s]
  2%|██████▌                                                                                                                                                                                                                                                                      | 8/325 [00:02<01:14,  4.27it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc1.bias", shape: (10240,), dtype: float32

  2%|██████▌                                                                                                                                                                                                                                                                      | 8/325 [00:02<01:14,  4.27it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:56] INFO group_quantization.py:200: Compiling quantize function for key: (10240, 2560, 'float32', 'cuda')

  2%|██████▌                                                                                                                                                                                                                                                                      | 8/325 [00:02<01:14,  4.27it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

  2%|██████▌                                                                                                                                                                                                                                                                      | 8/325 [00:02<01:14,  4.27it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

  2%|██████▌                                                                                                                                                                                                                                                                      | 8/325 [00:02<01:14,  4.27it/s]
  3%|████████▏                                                                                                                                                                                                                                                                   | 10/325 [00:02<01:10,  4.48it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc2.bias", shape: (2560,), dtype: float32

  3%|████████▏                                                                                                                                                                                                                                                                   | 10/325 [00:02<01:10,  4.48it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO group_quantization.py:200: Compiling quantize function for key: (2560, 10240, 'float32', 'cuda')

  3%|████████▏                                                                                                                                                                                                                                                                   | 10/325 [00:02<01:10,  4.48it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

  3%|████████▏                                                                                                                                                                                                                                                                   | 10/325 [00:03<01:10,  4.48it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.30.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

  3%|████████▏                                                                                                                                                                                                                                                                   | 10/325 [00:03<01:10,  4.48it/s]
  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.ln.bias", shape: (2560,), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.ln.weight", shape: (2560,), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.out_proj.bias", shape: (2560,), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

  4%|█████████▉                                                                                                                                                                                                                                                                  | 12/325 [00:03<01:07,  4.62it/s]
  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc1.bias", shape: (10240,), dtype: float32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc2.bias", shape: (2560,), dtype: float32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.31.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

  6%|██████████████▊                                                                                                                                                                                                                                                             | 18/325 [00:03<00:30,  9.98it/s]
  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:03<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:179: Unloading HF weight file: /ssd1/cfruan/models/phi-2/model-00002-of-00002.safetensors

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:03<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:57] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/models/phi-2/model-00001-of-00002.safetensors

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:03<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.embd.q_weight", shape: (51200, 320), dtype: uint32

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:05<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.embd.q_scale", shape: (51200, 80), dtype: float32

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:05<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.bias", shape: (2560,), dtype: float32

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:05<00:24, 12.30it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.weight", shape: (2560,), dtype: float32

  7%|██████████████████▏                                                                                                                                                                                                                                                         | 22/325 [00:05<00:24, 12.30it/s]
  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:40:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.out_proj.bias", shape: (2560,), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc1.bias", shape: (10240,), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

  8%|████████████████████▌                                                                                                                                                                                                                                                       | 25/325 [00:05<01:17,  3.87it/s]
 10%|█████████████████████████▌                                                                                                                                                                                                                                                  | 31/325 [00:05<00:46,  6.29it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc2.bias", shape: (2560,), dtype: float32

 10%|█████████████████████████▌                                                                                                                                                                                                                                                  | 31/325 [00:05<00:46,  6.29it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 10%|█████████████████████████▌                                                                                                                                                                                                                                                  | 31/325 [00:05<00:46,  6.29it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.0.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 10%|█████████████████████████▌                                                                                                                                                                                                                                                  | 31/325 [00:05<00:46,  6.29it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.bias", shape: (2560,), dtype: float32

 10%|█████████████████████████▌                                                                                                                                                                                                                                                  | 31/325 [00:05<00:46,  6.29it/s]
 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.weight", shape: (2560,), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.out_proj.bias", shape: (2560,), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc1.bias", shape: (10240,), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:05<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:06<00:37,  7.74it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 10%|████████████████████████████                                                                                                                                                                                                                                                | 34/325 [00:06<00:37,  7.74it/s]
 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc2.bias", shape: (2560,), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.1.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.bias", shape: (2560,), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.weight", shape: (2560,), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 13%|█████████████████████████████████▊                                                                                                                                                                                                                                          | 41/325 [00:06<00:23, 11.91it/s]
 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.out_proj.bias", shape: (2560,), dtype: float32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc1.bias", shape: (10240,), dtype: float32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 14%|██████████████████████████████████████▊                                                                                                                                                                                                                                     | 47/325 [00:06<00:17, 15.56it/s]
 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc2.bias", shape: (2560,), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.10.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.bias", shape: (2560,), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.weight", shape: (2560,), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 16%|██████████████████████████████████████████                                                                                                                                                                                                                                  | 51/325 [00:06<00:15, 17.89it/s]
 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.out_proj.bias", shape: (2560,), dtype: float32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc1.bias", shape: (10240,), dtype: float32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 18%|███████████████████████████████████████████████                                                                                                                                                                                                                             | 57/325 [00:06<00:12, 21.61it/s]
 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc2.bias", shape: (2560,), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.11.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.bias", shape: (2560,), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.weight", shape: (2560,), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 19%|██████████████████████████████████████████████████▎                                                                                                                                                                                                                         | 61/325 [00:06<00:11, 23.75it/s]
 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.out_proj.bias", shape: (2560,), dtype: float32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc1.bias", shape: (10240,), dtype: float32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 21%|███████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 67/325 [00:06<00:09, 26.87it/s]
 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc2.bias", shape: (2560,), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.12.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.bias", shape: (2560,), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.weight", shape: (2560,), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:06<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:07<00:08, 28.36it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 22%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                 | 71/325 [00:07<00:08, 28.36it/s]
 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.out_proj.bias", shape: (2560,), dtype: float32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc1.bias", shape: (10240,), dtype: float32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 24%|███████████████████████████████████████████████████████████████▍                                                                                                                                                                                                            | 77/325 [00:07<00:08, 30.55it/s]
 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc2.bias", shape: (2560,), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.13.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.bias", shape: (2560,), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.weight", shape: (2560,), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 25%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                         | 81/325 [00:07<00:07, 31.32it/s]
 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.out_proj.bias", shape: (2560,), dtype: float32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc1.bias", shape: (10240,), dtype: float32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 27%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                    | 87/325 [00:07<00:07, 32.71it/s]
 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc2.bias", shape: (2560,), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.14.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.bias", shape: (2560,), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.weight", shape: (2560,), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 28%|███████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                 | 91/325 [00:07<00:07, 33.00it/s]
 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.out_proj.bias", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc1.bias", shape: (10240,), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 30%|███████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                            | 97/325 [00:07<00:06, 33.87it/s]
 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc2.bias", shape: (2560,), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.15.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.bias", shape: (2560,), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.weight", shape: (2560,), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 31%|██████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                        | 101/325 [00:07<00:06, 33.88it/s]
 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:07<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.out_proj.bias", shape: (2560,), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:07<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:07<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:07<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc1.bias", shape: (10240,), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:07<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:08<00:06, 34.49it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 33%|███████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                   | 107/325 [00:08<00:06, 34.49it/s]
 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc2.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.16.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.bias", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.weight", shape: (2560,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 34%|███████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 111/325 [00:08<00:06, 34.35it/s]
 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.out_proj.bias", shape: (2560,), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc1.bias", shape: (10240,), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                           | 117/325 [00:08<00:05, 34.82it/s]
 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc2.bias", shape: (2560,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.17.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.bias", shape: (2560,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.weight", shape: (2560,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 37%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                       | 121/325 [00:08<00:05, 34.60it/s]
 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.out_proj.bias", shape: (2560,), dtype: float32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc1.bias", shape: (10240,), dtype: float32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                  | 127/325 [00:08<00:05, 35.00it/s]
 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc2.bias", shape: (2560,), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.18.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.bias", shape: (2560,), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.weight", shape: (2560,), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                               | 131/325 [00:08<00:05, 34.75it/s]
 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.out_proj.bias", shape: (2560,), dtype: float32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc1.bias", shape: (10240,), dtype: float32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 42%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                          | 137/325 [00:08<00:05, 35.09it/s]
 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc2.bias", shape: (2560,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.19.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.bias", shape: (2560,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.weight", shape: (2560,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:08<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:09<00:05, 34.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 141/325 [00:09<00:05, 34.82it/s]
 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.out_proj.bias", shape: (2560,), dtype: float32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc1.bias", shape: (10240,), dtype: float32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                  | 147/325 [00:09<00:05, 35.11it/s]
 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc2.bias", shape: (2560,), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.2.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.bias", shape: (2560,), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.weight", shape: (2560,), dtype: float32

 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                               | 151/325 [00:09<00:05, 34.80it/s]
 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.out_proj.bias", shape: (2560,), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc1.bias", shape: (10240,), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 155/325 [00:09<00:04, 35.97it/s]
 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc2.bias", shape: (2560,), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.20.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.bias", shape: (2560,), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.weight", shape: (2560,), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                      | 161/325 [00:09<00:04, 34.19it/s]
 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.out_proj.bias", shape: (2560,), dtype: float32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc1.bias", shape: (10240,), dtype: float32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                 | 167/325 [00:09<00:04, 34.55it/s]
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc2.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.21.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.bias", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.weight", shape: (2560,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 171/325 [00:09<00:04, 34.37it/s]
 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:09<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.out_proj.bias", shape: (2560,), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:09<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:09<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:09<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc1.bias", shape: (10240,), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:09<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:10<00:04, 34.76it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                         | 177/325 [00:10<00:04, 34.76it/s]
 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc2.bias", shape: (2560,), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.22.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.bias", shape: (2560,), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.weight", shape: (2560,), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                      | 181/325 [00:10<00:04, 34.56it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.out_proj.bias", shape: (2560,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc1.bias", shape: (10240,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                 | 187/325 [00:10<00:03, 34.91it/s]
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc2.bias", shape: (2560,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.23.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.ln.bias", shape: (2560,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.ln.weight", shape: (2560,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 191/325 [00:10<00:03, 34.69it/s]
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.out_proj.bias", shape: (2560,), dtype: float32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc1.bias", shape: (10240,), dtype: float32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                         | 197/325 [00:10<00:03, 35.10it/s]
 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc2.bias", shape: (2560,), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.24.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.ln.bias", shape: (2560,), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.ln.weight", shape: (2560,), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                     | 201/325 [00:10<00:04, 29.89it/s]
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:10<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.out_proj.bias", shape: (2560,), dtype: float32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:10<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:10<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:10<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc1.bias", shape: (10240,), dtype: float32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:10<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:11<00:03, 31.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 207/325 [00:11<00:03, 31.73it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                             | 211/325 [00:11<00:04, 25.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc2.bias", shape: (2560,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                             | 211/325 [00:11<00:04, 25.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                             | 211/325 [00:11<00:04, 25.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.25.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                             | 211/325 [00:11<00:04, 25.70it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.ln.bias", shape: (2560,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                             | 211/325 [00:11<00:04, 25.70it/s]
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.ln.weight", shape: (2560,), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.out_proj.bias", shape: (2560,), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc1.bias", shape: (10240,), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                           | 214/325 [00:11<00:04, 25.79it/s]
 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 221/325 [00:11<00:04, 23.21it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc2.bias", shape: (2560,), dtype: float32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 221/325 [00:11<00:04, 23.21it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 221/325 [00:11<00:04, 23.21it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.26.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 221/325 [00:11<00:04, 23.21it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.ln.bias", shape: (2560,), dtype: float32

 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 221/325 [00:11<00:04, 23.21it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.ln.weight", shape: (2560,), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.out_proj.bias", shape: (2560,), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc1.bias", shape: (10240,), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                   | 224/325 [00:11<00:04, 23.94it/s]
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                             | 231/325 [00:11<00:03, 27.28it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc2.bias", shape: (2560,), dtype: float32

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                             | 231/325 [00:11<00:03, 27.28it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                             | 231/325 [00:11<00:03, 27.28it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.27.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                             | 231/325 [00:11<00:03, 27.28it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.ln.bias", shape: (2560,), dtype: float32

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                             | 231/325 [00:11<00:03, 27.28it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:11<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.ln.weight", shape: (2560,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:11<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:11<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.out_proj.bias", shape: (2560,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc1.bias", shape: (10240,), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                          | 234/325 [00:12<00:03, 27.18it/s]
 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc2.bias", shape: (2560,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.28.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.ln.bias", shape: (2560,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.ln.weight", shape: (2560,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 241/325 [00:12<00:02, 29.67it/s]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.out_proj.bias", shape: (2560,), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc1.bias", shape: (10240,), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                | 247/325 [00:12<00:02, 31.47it/s]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc2.bias", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.29.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.bias", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.weight", shape: (2560,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                            | 251/325 [00:12<00:02, 31.43it/s]
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.out_proj.bias", shape: (2560,), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc1.bias", shape: (10240,), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 257/325 [00:12<00:02, 32.82it/s]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc2.bias", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.3.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.ln.bias", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.ln.weight", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.bias", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.weight", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                    | 261/325 [00:12<00:01, 32.57it/s]
 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:12<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.out_proj.bias", shape: (2560,), dtype: float32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:12<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:12<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:12<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc1.bias", shape: (10240,), dtype: float32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:12<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:13<00:01, 37.44it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                              | 269/325 [00:13<00:01, 37.44it/s]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc2.bias", shape: (2560,), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.4.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.bias", shape: (2560,), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.weight", shape: (2560,), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                          | 273/325 [00:13<00:01, 36.02it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.out_proj.bias", shape: (2560,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc1.bias", shape: (10240,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 279/325 [00:13<00:01, 35.98it/s]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc2.bias", shape: (2560,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.5.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.bias", shape: (2560,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.weight", shape: (2560,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 283/325 [00:13<00:01, 34.93it/s]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.out_proj.bias", shape: (2560,), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc1.bias", shape: (10240,), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                             | 289/325 [00:13<00:01, 35.26it/s]
 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc2.bias", shape: (2560,), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.6.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.bias", shape: (2560,), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.weight", shape: (2560,), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 293/325 [00:13<00:00, 34.35it/s]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.out_proj.bias", shape: (2560,), dtype: float32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc1.bias", shape: (10240,), dtype: float32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 299/325 [00:13<00:00, 34.87it/s]
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:13<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc2.bias", shape: (2560,), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:13<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.7.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.bias", shape: (2560,), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.weight", shape: (2560,), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 303/325 [00:14<00:00, 34.12it/s]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.out_proj.bias", shape: (2560,), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc1.bias", shape: (10240,), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 309/325 [00:14<00:00, 34.73it/s]
 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc2.bias", shape: (2560,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.8.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.bias", shape: (2560,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.weight", shape: (2560,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mixer.Wqkv.q_weight", shape: (7680, 320), dtype: uint32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mixer.Wqkv.q_scale", shape: (7680, 80), dtype: float32

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 313/325 [00:14<00:00, 33.89it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.out_proj.bias", shape: (2560,), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mixer.out_proj.q_weight", shape: (2560, 320), dtype: uint32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mixer.out_proj.q_scale", shape: (2560, 80), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc1.bias", shape: (10240,), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.fc1.q_weight", shape: (10240, 320), dtype: uint32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.fc1.q_scale", shape: (10240, 80), dtype: float32

 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 319/325 [00:14<00:00, 34.52it/s]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 323/325 [00:14<00:00, 33.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc2.bias", shape: (2560,), dtype: float32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 323/325 [00:14<00:00, 33.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.fc2.q_weight", shape: (2560, 1280), dtype: uint32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 323/325 [00:14<00:00, 33.55it/s]
                                                                                                                                                                                                                                                                                                                  
[2023-12-31 03:41:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "transformer.h.9.mlp.fc2.q_scale", shape: (2560, 320), dtype: float32

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 323/325 [00:14<00:00, 33.55it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 325/325 [00:14<00:00, 22.22it/s]
[2023-12-31 03:41:09] INFO huggingface_loader.py:179: Unloading HF weight file: /ssd1/cfruan/models/phi-2/model-00001-of-00002.safetensors
[2023-12-31 03:41:09] INFO stats.py:71: Time usage: HF loading: 2.056 sec; Pre-quantization mapping: 9.240 sec; Quantization: 2.060 sec
[2023-12-31 03:41:09] INFO stats.py:85: RAM usage: Peak RAM: 4.640 GB. Total bytes loaded from disk: 5.178 GB
[2023-12-31 03:41:09] INFO convert_weight.py:110: Parameter size after quantization: 1.621 GB
[2023-12-31 03:41:09] INFO convert_weight.py:115: Total parameters: 2,779,683,840
[2023-12-31 03:41:09] INFO convert_weight.py:116: Bits per parameter: 5.009
Start storing to cache /tmp/tmpba9j8d1i


[0001/0455] saving lm_head.linear.bias
                                      
[0002/0455] saving lm_head.linear.q_weight
                                          
[0003/0455] saving lm_head.linear.q_scale
                                          
[0004/0455] saving lm_head.ln.bias
                                          
[0005/0455] saving lm_head.ln.weight
                                          
[0006/0455] saving transformer.h.30.mixer.Wqkv.bias
                                                   
[0007/0455] saving transformer.h.30.mixer.Wqkv.q_weight
                                                       
[0008/0455] saving transformer.h.30.mixer.Wqkv.q_scale
                                                       
[0009/0455] saving transformer.h.30.mixer.out_proj.bias
                                                       
[0010/0455] saving transformer.h.30.mixer.out_proj.q_weight
                                                           
[0011/0455] saving transformer.h.30.mixer.out_proj.q_scale
                                                           
[0012/0455] saving transformer.h.30.mlp.fc1.bias
                                                           
[0013/0455] saving transformer.h.30.mlp.fc1.q_weight
                                                           
[0014/0455] saving transformer.h.30.mlp.fc1.q_scale
                                                           
[0015/0455] saving transformer.h.30.mlp.fc2.bias
                                                           
[0016/0455] saving transformer.h.30.mlp.fc2.q_weight
                                                           
[0017/0455] saving transformer.h.30.mlp.fc2.q_scale
                                                           
[0018/0455] saving transformer.h.31.ln.bias
                                                           
[0019/0455] saving transformer.h.31.ln.weight
                                                           
[0020/0455] saving transformer.h.31.mixer.Wqkv.bias
                                                           
[0021/0455] saving transformer.h.31.mixer.Wqkv.q_weight
                                                           
[0022/0455] saving transformer.h.31.mixer.Wqkv.q_scale
                                                           
[0023/0455] saving transformer.h.31.mixer.out_proj.bias
                                                           
[0024/0455] saving transformer.h.31.mixer.out_proj.q_weight
                                                           
[0025/0455] saving transformer.h.31.mixer.out_proj.q_scale
                                                           
[0026/0455] saving transformer.h.31.mlp.fc1.bias
                                                           
[0027/0455] saving transformer.h.31.mlp.fc1.q_weight
                                                           
[0028/0455] saving transformer.h.31.mlp.fc1.q_scale
                                                           
[0029/0455] saving transformer.h.31.mlp.fc2.bias
                                                           
[0030/0455] saving transformer.h.31.mlp.fc2.q_weight
                                                           
[0031/0455] saving transformer.h.31.mlp.fc2.q_scale
                                                           
[0032/0455] saving transformer.embd.q_weight
                                                           
[0033/0455] saving transformer.embd.q_scale
                                                           
[0034/0455] saving transformer.h.0.ln.bias
                                                           
[0035/0455] saving transformer.h.0.ln.weight
                                                           
[0036/0455] saving transformer.h.0.mixer.Wqkv.bias
                                                           
[0037/0455] saving transformer.h.0.mixer.Wqkv.q_weight
                                                           
[0038/0455] saving transformer.h.0.mixer.Wqkv.q_scale
                                                           
[0039/0455] saving transformer.h.0.mixer.out_proj.bias
                                                           
[0040/0455] saving transformer.h.0.mixer.out_proj.q_weight
                                                           
[0041/0455] saving transformer.h.0.mixer.out_proj.q_scale
                                                           
[0042/0455] saving transformer.h.0.mlp.fc1.bias
                                                           
[0043/0455] saving transformer.h.0.mlp.fc1.q_weight
                                                           
[0044/0455] saving transformer.h.0.mlp.fc1.q_scale
                                                           
[0045/0455] saving transformer.h.0.mlp.fc2.bias
                                                           
[0046/0455] saving transformer.h.0.mlp.fc2.q_weight
                                                           
[0047/0455] saving transformer.h.0.mlp.fc2.q_scale
                                                           
[0048/0455] saving transformer.h.1.ln.bias
                                                           
[0049/0455] saving transformer.h.1.ln.weight
                                                           
[0050/0455] saving transformer.h.1.mixer.Wqkv.bias
                                                           
[0051/0455] saving transformer.h.1.mixer.Wqkv.q_weight
                                                           
[0052/0455] saving transformer.h.1.mixer.Wqkv.q_scale
                                                           
[0053/0455] saving transformer.h.1.mixer.out_proj.bias
                                                           
[0054/0455] saving transformer.h.1.mixer.out_proj.q_weight
                                                           
[0055/0455] saving transformer.h.1.mixer.out_proj.q_scale
                                                           
[0056/0455] saving transformer.h.1.mlp.fc1.bias
                                                           
[0057/0455] saving transformer.h.1.mlp.fc1.q_weight
                                                           
[0058/0455] saving transformer.h.1.mlp.fc1.q_scale
                                                           
[0059/0455] saving transformer.h.1.mlp.fc2.bias
                                                           
[0060/0455] saving transformer.h.1.mlp.fc2.q_weight
                                                           
[0061/0455] saving transformer.h.1.mlp.fc2.q_scale
                                                           
[0062/0455] saving transformer.h.10.ln.bias
                                                           
[0063/0455] saving transformer.h.10.ln.weight
                                                           
[0064/0455] saving transformer.h.10.mixer.Wqkv.bias
                                                           
[0065/0455] saving transformer.h.10.mixer.Wqkv.q_weight
                                                           
[0066/0455] saving transformer.h.10.mixer.Wqkv.q_scale
                                                           
[0067/0455] saving transformer.h.10.mixer.out_proj.bias
                                                           
[0068/0455] saving transformer.h.10.mixer.out_proj.q_weight
                                                           
[0069/0455] saving transformer.h.10.mixer.out_proj.q_scale
                                                           
[0070/0455] saving transformer.h.10.mlp.fc1.bias
                                                           
[0071/0455] saving transformer.h.10.mlp.fc1.q_weight
                                                           
[0072/0455] saving transformer.h.10.mlp.fc1.q_scale
                                                           
[0073/0455] saving transformer.h.10.mlp.fc2.bias
                                                           
[0074/0455] saving transformer.h.10.mlp.fc2.q_weight
                                                           
[0075/0455] saving transformer.h.10.mlp.fc2.q_scale
                                                           
[0076/0455] saving transformer.h.11.ln.bias
                                                           
[0077/0455] saving transformer.h.11.ln.weight
                                                           
[0078/0455] saving transformer.h.11.mixer.Wqkv.bias
                                                           
[0079/0455] saving transformer.h.11.mixer.Wqkv.q_weight
                                                           
[0080/0455] saving transformer.h.11.mixer.Wqkv.q_scale
                                                           
[0081/0455] saving transformer.h.11.mixer.out_proj.bias
                                                           
[0082/0455] saving transformer.h.11.mixer.out_proj.q_weight
                                                           
[0083/0455] saving transformer.h.11.mixer.out_proj.q_scale
                                                           
[0084/0455] saving transformer.h.11.mlp.fc1.bias
                                                           
[0085/0455] saving transformer.h.11.mlp.fc1.q_weight
                                                           
[0086/0455] saving transformer.h.11.mlp.fc1.q_scale
                                                           
[0087/0455] saving transformer.h.11.mlp.fc2.bias
                                                           
[0088/0455] saving transformer.h.11.mlp.fc2.q_weight
                                                           
[0089/0455] saving transformer.h.11.mlp.fc2.q_scale
                                                           
[0090/0455] saving transformer.h.12.ln.bias
                                                           
[0091/0455] saving transformer.h.12.ln.weight
                                                           
[0092/0455] saving transformer.h.12.mixer.Wqkv.bias
                                                           
[0093/0455] saving transformer.h.12.mixer.Wqkv.q_weight
                                                           
[0094/0455] saving transformer.h.12.mixer.Wqkv.q_scale
                                                           
[0095/0455] saving transformer.h.12.mixer.out_proj.bias
                                                           
[0096/0455] saving transformer.h.12.mixer.out_proj.q_weight
                                                           
[0097/0455] saving transformer.h.12.mixer.out_proj.q_scale
                                                           
[0098/0455] saving transformer.h.12.mlp.fc1.bias
                                                           
[0099/0455] saving transformer.h.12.mlp.fc1.q_weight
                                                           
[0100/0455] saving transformer.h.12.mlp.fc1.q_scale
                                                           
[0101/0455] saving transformer.h.12.mlp.fc2.bias
                                                           
[0102/0455] saving transformer.h.12.mlp.fc2.q_weight
                                                           
[0103/0455] saving transformer.h.12.mlp.fc2.q_scale
                                                           
[0104/0455] saving transformer.h.13.ln.bias
                                                           
[0105/0455] saving transformer.h.13.ln.weight
                                                           
[0106/0455] saving transformer.h.13.mixer.Wqkv.bias
                                                           
[0107/0455] saving transformer.h.13.mixer.Wqkv.q_weight
                                                           
[0108/0455] saving transformer.h.13.mixer.Wqkv.q_scale
                                                           
[0109/0455] saving transformer.h.13.mixer.out_proj.bias
                                                           
[0110/0455] saving transformer.h.13.mixer.out_proj.q_weight
                                                           
[0111/0455] saving transformer.h.13.mixer.out_proj.q_scale
                                                           
[0112/0455] saving transformer.h.13.mlp.fc1.bias
                                                           
[0113/0455] saving transformer.h.13.mlp.fc1.q_weight
                                                           
[0114/0455] saving transformer.h.13.mlp.fc1.q_scale
                                                           
[0115/0455] saving transformer.h.13.mlp.fc2.bias
                                                           
[0116/0455] saving transformer.h.13.mlp.fc2.q_weight
                                                           
[0117/0455] saving transformer.h.13.mlp.fc2.q_scale
                                                           
[0118/0455] saving transformer.h.14.ln.bias
                                                           
[0119/0455] saving transformer.h.14.ln.weight
                                                           
[0120/0455] saving transformer.h.14.mixer.Wqkv.bias
                                                           
[0121/0455] saving transformer.h.14.mixer.Wqkv.q_weight
                                                           
[0122/0455] saving transformer.h.14.mixer.Wqkv.q_scale
                                                           
[0123/0455] saving transformer.h.14.mixer.out_proj.bias
                                                           
[0124/0455] saving transformer.h.14.mixer.out_proj.q_weight
                                                           
[0125/0455] saving transformer.h.14.mixer.out_proj.q_scale
                                                           
[0126/0455] saving transformer.h.14.mlp.fc1.bias
                                                           
[0127/0455] saving transformer.h.14.mlp.fc1.q_weight
                                                           
[0128/0455] saving transformer.h.14.mlp.fc1.q_scale
                                                           
[0129/0455] saving transformer.h.14.mlp.fc2.bias
                                                           
[0130/0455] saving transformer.h.14.mlp.fc2.q_weight
                                                           
[0131/0455] saving transformer.h.14.mlp.fc2.q_scale
                                                           
[0132/0455] saving transformer.h.15.ln.bias
                                                           
[0133/0455] saving transformer.h.15.ln.weight
                                                           
[0134/0455] saving transformer.h.15.mixer.Wqkv.bias
                                                           
[0135/0455] saving transformer.h.15.mixer.Wqkv.q_weight
                                                           
[0136/0455] saving transformer.h.15.mixer.Wqkv.q_scale
                                                           
[0137/0455] saving transformer.h.15.mixer.out_proj.bias
                                                           
[0138/0455] saving transformer.h.15.mixer.out_proj.q_weight
                                                           
[0139/0455] saving transformer.h.15.mixer.out_proj.q_scale
                                                           
[0140/0455] saving transformer.h.15.mlp.fc1.bias
                                                           
[0141/0455] saving transformer.h.15.mlp.fc1.q_weight
                                                           
[0142/0455] saving transformer.h.15.mlp.fc1.q_scale
                                                           
[0143/0455] saving transformer.h.15.mlp.fc2.bias
                                                           
[0144/0455] saving transformer.h.15.mlp.fc2.q_weight
                                                           
[0145/0455] saving transformer.h.15.mlp.fc2.q_scale
                                                           
[0146/0455] saving transformer.h.16.ln.bias
                                                           
[0147/0455] saving transformer.h.16.ln.weight
                                                           
[0148/0455] saving transformer.h.16.mixer.Wqkv.bias
                                                           
[0149/0455] saving transformer.h.16.mixer.Wqkv.q_weight
                                                           
[0150/0455] saving transformer.h.16.mixer.Wqkv.q_scale
                                                           
[0151/0455] saving transformer.h.16.mixer.out_proj.bias
                                                           
[0152/0455] saving transformer.h.16.mixer.out_proj.q_weight
                                                           
[0153/0455] saving transformer.h.16.mixer.out_proj.q_scale
                                                           
[0154/0455] saving transformer.h.16.mlp.fc1.bias
                                                           
[0155/0455] saving transformer.h.16.mlp.fc1.q_weight
                                                           
[0156/0455] saving transformer.h.16.mlp.fc1.q_scale
                                                           
[0157/0455] saving transformer.h.16.mlp.fc2.bias
                                                           
[0158/0455] saving transformer.h.16.mlp.fc2.q_weight
                                                           
[0159/0455] saving transformer.h.16.mlp.fc2.q_scale
                                                           
[0160/0455] saving transformer.h.17.ln.bias
                                                           
[0161/0455] saving transformer.h.17.ln.weight
                                                           
[0162/0455] saving transformer.h.17.mixer.Wqkv.bias
                                                           
[0163/0455] saving transformer.h.17.mixer.Wqkv.q_weight
                                                           
[0164/0455] saving transformer.h.17.mixer.Wqkv.q_scale
                                                           
[0165/0455] saving transformer.h.17.mixer.out_proj.bias
                                                           
[0166/0455] saving transformer.h.17.mixer.out_proj.q_weight
                                                           
[0167/0455] saving transformer.h.17.mixer.out_proj.q_scale
                                                           
[0168/0455] saving transformer.h.17.mlp.fc1.bias
                                                           
[0169/0455] saving transformer.h.17.mlp.fc1.q_weight
                                                           
[0170/0455] saving transformer.h.17.mlp.fc1.q_scale
                                                           
[0171/0455] saving transformer.h.17.mlp.fc2.bias
                                                           
[0172/0455] saving transformer.h.17.mlp.fc2.q_weight
                                                           
[0173/0455] saving transformer.h.17.mlp.fc2.q_scale
                                                           
[0174/0455] saving transformer.h.18.ln.bias
                                                           
[0175/0455] saving transformer.h.18.ln.weight
                                                           
[0176/0455] saving transformer.h.18.mixer.Wqkv.bias
                                                           
[0177/0455] saving transformer.h.18.mixer.Wqkv.q_weight
                                                           
[0178/0455] saving transformer.h.18.mixer.Wqkv.q_scale
                                                           
[0179/0455] saving transformer.h.18.mixer.out_proj.bias
                                                           
[0180/0455] saving transformer.h.18.mixer.out_proj.q_weight
                                                           
[0181/0455] saving transformer.h.18.mixer.out_proj.q_scale
                                                           
[0182/0455] saving transformer.h.18.mlp.fc1.bias
                                                           
[0183/0455] saving transformer.h.18.mlp.fc1.q_weight
                                                           
[0184/0455] saving transformer.h.18.mlp.fc1.q_scale
                                                           
[0185/0455] saving transformer.h.18.mlp.fc2.bias
                                                           
[0186/0455] saving transformer.h.18.mlp.fc2.q_weight
                                                           
[0187/0455] saving transformer.h.18.mlp.fc2.q_scale
                                                           
[0188/0455] saving transformer.h.19.ln.bias
                                                           
[0189/0455] saving transformer.h.19.ln.weight
                                                           
[0190/0455] saving transformer.h.19.mixer.Wqkv.bias
                                                           
[0191/0455] saving transformer.h.19.mixer.Wqkv.q_weight
                                                           
[0192/0455] saving transformer.h.19.mixer.Wqkv.q_scale
                                                           
[0193/0455] saving transformer.h.19.mixer.out_proj.bias
                                                           
[0194/0455] saving transformer.h.19.mixer.out_proj.q_weight
                                                           
[0195/0455] saving transformer.h.19.mixer.out_proj.q_scale
                                                           
[0196/0455] saving transformer.h.19.mlp.fc1.bias
                                                           
[0197/0455] saving transformer.h.19.mlp.fc1.q_weight
                                                           
[0198/0455] saving transformer.h.19.mlp.fc1.q_scale
                                                           
[0199/0455] saving transformer.h.19.mlp.fc2.bias
                                                           
[0200/0455] saving transformer.h.19.mlp.fc2.q_weight
                                                           
[0201/0455] saving transformer.h.19.mlp.fc2.q_scale
                                                           
[0202/0455] saving transformer.h.2.ln.bias
                                                           
[0203/0455] saving transformer.h.2.ln.weight
                                                           
[0204/0455] saving transformer.h.2.mixer.Wqkv.bias
                                                           
[0205/0455] saving transformer.h.2.mixer.Wqkv.q_weight
                                                           
[0206/0455] saving transformer.h.2.mixer.Wqkv.q_scale
                                                           
[0207/0455] saving transformer.h.2.mixer.out_proj.bias
                                                           
[0208/0455] saving transformer.h.2.mixer.out_proj.q_weight
                                                           
[0209/0455] saving transformer.h.2.mixer.out_proj.q_scale
                                                           
[0210/0455] saving transformer.h.2.mlp.fc1.bias
                                                           
[0211/0455] saving transformer.h.2.mlp.fc1.q_weight
                                                           
[0212/0455] saving transformer.h.2.mlp.fc1.q_scale
                                                           
[0213/0455] saving transformer.h.2.mlp.fc2.bias
                                                           
[0214/0455] saving transformer.h.2.mlp.fc2.q_weight
                                                           
[0215/0455] saving transformer.h.2.mlp.fc2.q_scale
                                                           
[0216/0455] saving transformer.h.20.ln.bias
                                                           
[0217/0455] saving transformer.h.20.ln.weight
                                                           
[0218/0455] saving transformer.h.20.mixer.Wqkv.bias
                                                           
[0219/0455] saving transformer.h.20.mixer.Wqkv.q_weight
                                                           
[0220/0455] saving transformer.h.20.mixer.Wqkv.q_scale
                                                           
[0221/0455] saving transformer.h.20.mixer.out_proj.bias
                                                           
[0222/0455] saving transformer.h.20.mixer.out_proj.q_weight
                                                           
[0223/0455] saving transformer.h.20.mixer.out_proj.q_scale
                                                           
[0224/0455] saving transformer.h.20.mlp.fc1.bias
                                                           
[0225/0455] saving transformer.h.20.mlp.fc1.q_weight
                                                           
[0226/0455] saving transformer.h.20.mlp.fc1.q_scale
                                                           
[0227/0455] saving transformer.h.20.mlp.fc2.bias
                                                           
[0228/0455] saving transformer.h.20.mlp.fc2.q_weight
                                                           
[0229/0455] saving transformer.h.20.mlp.fc2.q_scale
                                                           
[0230/0455] saving transformer.h.21.ln.bias
                                                           
[0231/0455] saving transformer.h.21.ln.weight
                                                           
[0232/0455] saving transformer.h.21.mixer.Wqkv.bias
                                                           
[0233/0455] saving transformer.h.21.mixer.Wqkv.q_weight
                                                           
[0234/0455] saving transformer.h.21.mixer.Wqkv.q_scale
                                                           
[0235/0455] saving transformer.h.21.mixer.out_proj.bias
                                                           
[0236/0455] saving transformer.h.21.mixer.out_proj.q_weight
                                                           
[0237/0455] saving transformer.h.21.mixer.out_proj.q_scale
                                                           
[0238/0455] saving transformer.h.21.mlp.fc1.bias
                                                           
[0239/0455] saving transformer.h.21.mlp.fc1.q_weight
                                                           
[0240/0455] saving transformer.h.21.mlp.fc1.q_scale
                                                           
[0241/0455] saving transformer.h.21.mlp.fc2.bias
                                                           
[0242/0455] saving transformer.h.21.mlp.fc2.q_weight
                                                           
[0243/0455] saving transformer.h.21.mlp.fc2.q_scale
                                                           
[0244/0455] saving transformer.h.22.ln.bias
                                                           
[0245/0455] saving transformer.h.22.ln.weight
                                                           
[0246/0455] saving transformer.h.22.mixer.Wqkv.bias
                                                           
[0247/0455] saving transformer.h.22.mixer.Wqkv.q_weight
                                                           
[0248/0455] saving transformer.h.22.mixer.Wqkv.q_scale
                                                           
[0249/0455] saving transformer.h.22.mixer.out_proj.bias
                                                           
[0250/0455] saving transformer.h.22.mixer.out_proj.q_weight
                                                           
[0251/0455] saving transformer.h.22.mixer.out_proj.q_scale
                                                           
[0252/0455] saving transformer.h.22.mlp.fc1.bias
                                                           
[0253/0455] saving transformer.h.22.mlp.fc1.q_weight
                                                           
[0254/0455] saving transformer.h.22.mlp.fc1.q_scale
                                                           
[0255/0455] saving transformer.h.22.mlp.fc2.bias
                                                           
[0256/0455] saving transformer.h.22.mlp.fc2.q_weight
                                                           
[0257/0455] saving transformer.h.22.mlp.fc2.q_scale
                                                           
[0258/0455] saving transformer.h.23.ln.bias
                                                           
[0259/0455] saving transformer.h.23.ln.weight
                                                           
[0260/0455] saving transformer.h.23.mixer.Wqkv.bias
                                                           
[0261/0455] saving transformer.h.23.mixer.Wqkv.q_weight
                                                           
[0262/0455] saving transformer.h.23.mixer.Wqkv.q_scale
                                                           
[0263/0455] saving transformer.h.23.mixer.out_proj.bias
                                                           
[0264/0455] saving transformer.h.23.mixer.out_proj.q_weight
                                                           
[0265/0455] saving transformer.h.23.mixer.out_proj.q_scale
                                                           
[0266/0455] saving transformer.h.23.mlp.fc1.bias
                                                           
[0267/0455] saving transformer.h.23.mlp.fc1.q_weight
                                                           
[0268/0455] saving transformer.h.23.mlp.fc1.q_scale
                                                           
[0269/0455] saving transformer.h.23.mlp.fc2.bias
                                                           
[0270/0455] saving transformer.h.23.mlp.fc2.q_weight
                                                           
[0271/0455] saving transformer.h.23.mlp.fc2.q_scale
                                                           
[0272/0455] saving transformer.h.24.ln.bias
                                                           
[0273/0455] saving transformer.h.24.ln.weight
                                                           
[0274/0455] saving transformer.h.24.mixer.Wqkv.bias
                                                           
[0275/0455] saving transformer.h.24.mixer.Wqkv.q_weight
                                                           
[0276/0455] saving transformer.h.24.mixer.Wqkv.q_scale
                                                           
[0277/0455] saving transformer.h.24.mixer.out_proj.bias
                                                           
[0278/0455] saving transformer.h.24.mixer.out_proj.q_weight
                                                           
[0279/0455] saving transformer.h.24.mixer.out_proj.q_scale
                                                           
[0280/0455] saving transformer.h.24.mlp.fc1.bias
                                                           
[0281/0455] saving transformer.h.24.mlp.fc1.q_weight
                                                           
[0282/0455] saving transformer.h.24.mlp.fc1.q_scale
                                                           
[0283/0455] saving transformer.h.24.mlp.fc2.bias
                                                           
[0284/0455] saving transformer.h.24.mlp.fc2.q_weight
                                                           
[0285/0455] saving transformer.h.24.mlp.fc2.q_scale
                                                           
[0286/0455] saving transformer.h.25.ln.bias
                                                           
[0287/0455] saving transformer.h.25.ln.weight
                                                           
[0288/0455] saving transformer.h.25.mixer.Wqkv.bias
                                                           
[0289/0455] saving transformer.h.25.mixer.Wqkv.q_weight
                                                           
[0290/0455] saving transformer.h.25.mixer.Wqkv.q_scale
                                                           
[0291/0455] saving transformer.h.25.mixer.out_proj.bias
                                                           
[0292/0455] saving transformer.h.25.mixer.out_proj.q_weight
                                                           
[0293/0455] saving transformer.h.25.mixer.out_proj.q_scale
                                                           
[0294/0455] saving transformer.h.25.mlp.fc1.bias
                                                           
[0295/0455] saving transformer.h.25.mlp.fc1.q_weight
                                                           
[0296/0455] saving transformer.h.25.mlp.fc1.q_scale
                                                           
[0297/0455] saving transformer.h.25.mlp.fc2.bias
                                                           
[0298/0455] saving transformer.h.25.mlp.fc2.q_weight
                                                           
[0299/0455] saving transformer.h.25.mlp.fc2.q_scale
                                                           
[0300/0455] saving transformer.h.26.ln.bias
                                                           
[0301/0455] saving transformer.h.26.ln.weight
                                                           
[0302/0455] saving transformer.h.26.mixer.Wqkv.bias
                                                           
[0303/0455] saving transformer.h.26.mixer.Wqkv.q_weight
                                                           
[0304/0455] saving transformer.h.26.mixer.Wqkv.q_scale
                                                           
[0305/0455] saving transformer.h.26.mixer.out_proj.bias
                                                           
[0306/0455] saving transformer.h.26.mixer.out_proj.q_weight
                                                           
[0307/0455] saving transformer.h.26.mixer.out_proj.q_scale
                                                           
[0308/0455] saving transformer.h.26.mlp.fc1.bias
                                                           
[0309/0455] saving transformer.h.26.mlp.fc1.q_weight
                                                           
[0310/0455] saving transformer.h.26.mlp.fc1.q_scale
                                                           
[0311/0455] saving transformer.h.26.mlp.fc2.bias
                                                           
[0312/0455] saving transformer.h.26.mlp.fc2.q_weight
                                                           
[0313/0455] saving transformer.h.26.mlp.fc2.q_scale
                                                           
[0314/0455] saving transformer.h.27.ln.bias
                                                           
[0315/0455] saving transformer.h.27.ln.weight
                                                           
[0316/0455] saving transformer.h.27.mixer.Wqkv.bias
                                                           
[0317/0455] saving transformer.h.27.mixer.Wqkv.q_weight
                                                           
[0318/0455] saving transformer.h.27.mixer.Wqkv.q_scale
                                                           
[0319/0455] saving transformer.h.27.mixer.out_proj.bias
                                                           
[0320/0455] saving transformer.h.27.mixer.out_proj.q_weight
                                                           
[0321/0455] saving transformer.h.27.mixer.out_proj.q_scale
                                                           
[0322/0455] saving transformer.h.27.mlp.fc1.bias
                                                           
[0323/0455] saving transformer.h.27.mlp.fc1.q_weight
                                                           
[0324/0455] saving transformer.h.27.mlp.fc1.q_scale
                                                           
[0325/0455] saving transformer.h.27.mlp.fc2.bias
                                                           
[0326/0455] saving transformer.h.27.mlp.fc2.q_weight
                                                           
[0327/0455] saving transformer.h.27.mlp.fc2.q_scale
                                                           
[0328/0455] saving transformer.h.28.ln.bias
                                                           
[0329/0455] saving transformer.h.28.ln.weight
                                                           
[0330/0455] saving transformer.h.28.mixer.Wqkv.bias
                                                           
[0331/0455] saving transformer.h.28.mixer.Wqkv.q_weight
                                                           
[0332/0455] saving transformer.h.28.mixer.Wqkv.q_scale
                                                           
[0333/0455] saving transformer.h.28.mixer.out_proj.bias
                                                           
[0334/0455] saving transformer.h.28.mixer.out_proj.q_weight
                                                           
[0335/0455] saving transformer.h.28.mixer.out_proj.q_scale
                                                           
[0336/0455] saving transformer.h.28.mlp.fc1.bias
                                                           
[0337/0455] saving transformer.h.28.mlp.fc1.q_weight
                                                           
[0338/0455] saving transformer.h.28.mlp.fc1.q_scale
                                                           
[0339/0455] saving transformer.h.28.mlp.fc2.bias
                                                           
[0340/0455] saving transformer.h.28.mlp.fc2.q_weight
                                                           
[0341/0455] saving transformer.h.28.mlp.fc2.q_scale
                                                           
[0342/0455] saving transformer.h.29.ln.bias
                                                           
[0343/0455] saving transformer.h.29.ln.weight
                                                           
[0344/0455] saving transformer.h.29.mixer.Wqkv.bias
                                                           
[0345/0455] saving transformer.h.29.mixer.Wqkv.q_weight
                                                           
[0346/0455] saving transformer.h.29.mixer.Wqkv.q_scale
                                                           
[0347/0455] saving transformer.h.29.mixer.out_proj.bias
                                                           
[0348/0455] saving transformer.h.29.mixer.out_proj.q_weight
                                                           
[0349/0455] saving transformer.h.29.mixer.out_proj.q_scale
                                                           
[0350/0455] saving transformer.h.29.mlp.fc1.bias
                                                           
[0351/0455] saving transformer.h.29.mlp.fc1.q_weight
                                                           
[0352/0455] saving transformer.h.29.mlp.fc1.q_scale
                                                           
[0353/0455] saving transformer.h.29.mlp.fc2.bias
                                                           
[0354/0455] saving transformer.h.29.mlp.fc2.q_weight
                                                           
[0355/0455] saving transformer.h.29.mlp.fc2.q_scale
                                                           
[0356/0455] saving transformer.h.3.ln.bias
                                                           
[0357/0455] saving transformer.h.3.ln.weight
                                                           
[0358/0455] saving transformer.h.3.mixer.Wqkv.bias
                                                           
[0359/0455] saving transformer.h.3.mixer.Wqkv.q_weight
                                                           
[0360/0455] saving transformer.h.3.mixer.Wqkv.q_scale
                                                           
[0361/0455] saving transformer.h.3.mixer.out_proj.bias
                                                           
[0362/0455] saving transformer.h.3.mixer.out_proj.q_weight
                                                           
[0363/0455] saving transformer.h.3.mixer.out_proj.q_scale
                                                           
[0364/0455] saving transformer.h.3.mlp.fc1.bias
                                                           
[0365/0455] saving transformer.h.3.mlp.fc1.q_weight
                                                           
[0366/0455] saving transformer.h.3.mlp.fc1.q_scale
                                                           
[0367/0455] saving transformer.h.3.mlp.fc2.bias
                                                           
[0368/0455] saving transformer.h.3.mlp.fc2.q_weight
                                                           
[0369/0455] saving transformer.h.3.mlp.fc2.q_scale
                                                           
[0370/0455] saving transformer.h.30.ln.bias
                                                           
[0371/0455] saving transformer.h.30.ln.weight
                                                           
[0372/0455] saving transformer.h.4.ln.bias
                                                           
[0373/0455] saving transformer.h.4.ln.weight
                                                           
[0374/0455] saving transformer.h.4.mixer.Wqkv.bias
                                                           
[0375/0455] saving transformer.h.4.mixer.Wqkv.q_weight
                                                           
[0376/0455] saving transformer.h.4.mixer.Wqkv.q_scale
                                                           
[0377/0455] saving transformer.h.4.mixer.out_proj.bias
                                                           
[0378/0455] saving transformer.h.4.mixer.out_proj.q_weight
                                                           
[0379/0455] saving transformer.h.4.mixer.out_proj.q_scale
                                                           
[0380/0455] saving transformer.h.4.mlp.fc1.bias
                                                           
[0381/0455] saving transformer.h.4.mlp.fc1.q_weight
                                                           
[0382/0455] saving transformer.h.4.mlp.fc1.q_scale
                                                           
[0383/0455] saving transformer.h.4.mlp.fc2.bias
                                                           
[0384/0455] saving transformer.h.4.mlp.fc2.q_weight
                                                           
[0385/0455] saving transformer.h.4.mlp.fc2.q_scale
                                                           
[0386/0455] saving transformer.h.5.ln.bias
                                                           
[0387/0455] saving transformer.h.5.ln.weight
                                                           
[0388/0455] saving transformer.h.5.mixer.Wqkv.bias
                                                           
[0389/0455] saving transformer.h.5.mixer.Wqkv.q_weight
                                                           
[0390/0455] saving transformer.h.5.mixer.Wqkv.q_scale
                                                           
[0391/0455] saving transformer.h.5.mixer.out_proj.bias
                                                           
[0392/0455] saving transformer.h.5.mixer.out_proj.q_weight
                                                           
[0393/0455] saving transformer.h.5.mixer.out_proj.q_scale
                                                           
[0394/0455] saving transformer.h.5.mlp.fc1.bias
                                                           
[0395/0455] saving transformer.h.5.mlp.fc1.q_weight
                                                           
[0396/0455] saving transformer.h.5.mlp.fc1.q_scale
                                                           
[0397/0455] saving transformer.h.5.mlp.fc2.bias
                                                           
[0398/0455] saving transformer.h.5.mlp.fc2.q_weight
                                                           
[0399/0455] saving transformer.h.5.mlp.fc2.q_scale
                                                           
[0400/0455] saving transformer.h.6.ln.bias
                                                           
[0401/0455] saving transformer.h.6.ln.weight
                                                           
[0402/0455] saving transformer.h.6.mixer.Wqkv.bias
                                                           
[0403/0455] saving transformer.h.6.mixer.Wqkv.q_weight
                                                           
[0404/0455] saving transformer.h.6.mixer.Wqkv.q_scale
                                                           
[0405/0455] saving transformer.h.6.mixer.out_proj.bias
                                                           
[0406/0455] saving transformer.h.6.mixer.out_proj.q_weight
                                                           
[0407/0455] saving transformer.h.6.mixer.out_proj.q_scale
                                                           
[0408/0455] saving transformer.h.6.mlp.fc1.bias
                                                           
[0409/0455] saving transformer.h.6.mlp.fc1.q_weight
                                                           
[0410/0455] saving transformer.h.6.mlp.fc1.q_scale
                                                           
[0411/0455] saving transformer.h.6.mlp.fc2.bias
                                                           
[0412/0455] saving transformer.h.6.mlp.fc2.q_weight
                                                           
[0413/0455] saving transformer.h.6.mlp.fc2.q_scale
                                                           
[0414/0455] saving transformer.h.7.ln.bias
                                                           
[0415/0455] saving transformer.h.7.ln.weight
                                                           
[0416/0455] saving transformer.h.7.mixer.Wqkv.bias
                                                           
[0417/0455] saving transformer.h.7.mixer.Wqkv.q_weight
                                                           
[0418/0455] saving transformer.h.7.mixer.Wqkv.q_scale
                                                           
[0419/0455] saving transformer.h.7.mixer.out_proj.bias
                                                           
[0420/0455] saving transformer.h.7.mixer.out_proj.q_weight
                                                           
[0421/0455] saving transformer.h.7.mixer.out_proj.q_scale
                                                           
[0422/0455] saving transformer.h.7.mlp.fc1.bias
                                                           
[0423/0455] saving transformer.h.7.mlp.fc1.q_weight
                                                           
[0424/0455] saving transformer.h.7.mlp.fc1.q_scale
                                                           
[0425/0455] saving transformer.h.7.mlp.fc2.bias
                                                           
[0426/0455] saving transformer.h.7.mlp.fc2.q_weight
                                                           
[0427/0455] saving transformer.h.7.mlp.fc2.q_scale
                                                           
[0428/0455] saving transformer.h.8.ln.bias
                                                           
[0429/0455] saving transformer.h.8.ln.weight
                                                           
[0430/0455] saving transformer.h.8.mixer.Wqkv.bias
                                                           
[0431/0455] saving transformer.h.8.mixer.Wqkv.q_weight
                                                           
[0432/0455] saving transformer.h.8.mixer.Wqkv.q_scale
                                                           
[0433/0455] saving transformer.h.8.mixer.out_proj.bias
                                                           
[0434/0455] saving transformer.h.8.mixer.out_proj.q_weight
                                                           
[0435/0455] saving transformer.h.8.mixer.out_proj.q_scale[2023-12-31 03:41:12] INFO convert_weight.py:132: Saved to directory: /tmp/tmpba9j8d1i

                                                           
[0436/0455] saving transformer.h.8.mlp.fc1.bias
                                                           
[0437/0455] saving transformer.h.8.mlp.fc1.q_weight
                                                           
[0438/0455] saving transformer.h.8.mlp.fc1.q_scale
                                                           
[0439/0455] saving transformer.h.8.mlp.fc2.bias
                                                           
[0440/0455] saving transformer.h.8.mlp.fc2.q_weight
                                                           
[0441/0455] saving transformer.h.8.mlp.fc2.q_scale
                                                           
[0442/0455] saving transformer.h.9.ln.bias
                                                           
[0443/0455] saving transformer.h.9.ln.weight
                                                           
[0444/0455] saving transformer.h.9.mixer.Wqkv.bias
                                                           
[0445/0455] saving transformer.h.9.mixer.Wqkv.q_weight
                                                           
[0446/0455] saving transformer.h.9.mixer.Wqkv.q_scale
                                                           
[0447/0455] saving transformer.h.9.mixer.out_proj.bias
                                                           
[0448/0455] saving transformer.h.9.mixer.out_proj.q_weight
                                                           
[0449/0455] saving transformer.h.9.mixer.out_proj.q_scale
                                                           
[0450/0455] saving transformer.h.9.mlp.fc1.bias
                                                           
[0451/0455] saving transformer.h.9.mlp.fc1.q_weight
                                                           
[0452/0455] saving transformer.h.9.mlp.fc1.q_scale
                                                           
[0453/0455] saving transformer.h.9.mlp.fc2.bias
                                                           
[0454/0455] saving transformer.h.9.mlp.fc2.q_weight
                                                           
[0455/0455] saving transformer.h.9.mlp.fc2.q_scale
All finished, 51 total shards committed, record saved to /tmp/tmpba9j8d1i/ndarray-cache.json
Also saved a bf16 record to /tmp/tmpba9j8d1i/ndarray-cache-b16.json