/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat gen_config /ssd1/cfruan/models/phi-2 --quantization q0f32 --conv-template phi-2 --output /tmp/tmpuqhwa6i9
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:549: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero.
  setattr(self, word, getattr(machar, word).flat[0])
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero.
  return self._float_to_str(self.smallest_subnormal)
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:549: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero.
  setattr(self, word, getattr(machar, word).flat[0])
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero.
  return self._float_to_str(self.smallest_subnormal)
[2024-01-19 17:42:48] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/models/phi-2/config.json
[2024-01-19 17:42:48] INFO auto_config.py:153: Found model type: phi-msft. Use `--model-type` to override.
[2024-01-19 17:42:48] INFO phi_model.py:116: context_window_size not found in config.json. Falling back to n_positions (2048)
[2024-01-19 17:42:48] INFO gen_config.py:131: Not found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer.model
[2024-01-19 17:42:48] INFO gen_config.py:129: Found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer.json. Copying to /tmp/tmpuqhwa6i9/tokenizer.json
[2024-01-19 17:42:48] INFO gen_config.py:129: Found tokenizer config: /ssd1/cfruan/models/phi-2/vocab.json. Copying to /tmp/tmpuqhwa6i9/vocab.json
[2024-01-19 17:42:48] INFO gen_config.py:129: Found tokenizer config: /ssd1/cfruan/models/phi-2/merges.txt. Copying to /tmp/tmpuqhwa6i9/merges.txt
[2024-01-19 17:42:48] INFO gen_config.py:129: Found tokenizer config: /ssd1/cfruan/models/phi-2/added_tokens.json. Copying to /tmp/tmpuqhwa6i9/added_tokens.json
[2024-01-19 17:42:48] INFO gen_config.py:129: Found tokenizer config: /ssd1/cfruan/models/phi-2/tokenizer_config.json. Copying to /tmp/tmpuqhwa6i9/tokenizer_config.json
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting pad_token_id: 0
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting bos_token_id: 1
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting eos_token_id: 2
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting temperature: 0.7
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting repetition_penalty: 1.0
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting top_p: 0.95
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting mean_gen_len: 128
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting max_gen_len: 512
[2024-01-19 17:42:48] INFO gen_config.py:70: [System default] Setting shift_fill_factor: 0.3
[2024-01-19 17:42:48] INFO gen_config.py:159: Dumping configuration file to: /tmp/tmpuqhwa6i9/mlc-chat-config.json
/home/cfruan/.conda/envs/mlc-source-311/bin/python -m mlc_chat convert_weight /ssd1/cfruan/models/phi-2 --quantization q0f32 --source-format auto --output /tmp/tmpuqhwa6i9
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:549: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero.
  setattr(self, word, getattr(machar, word).flat[0])
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float64'> type is zero.
  return self._float_to_str(self.smallest_subnormal)
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:549: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero.
  setattr(self, word, getattr(machar, word).flat[0])
/home/cfruan/.conda/envs/mlc-source-311/lib/python3.11/site-packages/numpy/core/getlimits.py:89: UserWarning: The value of the smallest subnormal for <class 'numpy.float32'> type is zero.
  return self._float_to_str(self.smallest_subnormal)
[2024-01-19 17:42:49] INFO auto_config.py:115: Found model configuration: /ssd1/cfruan/models/phi-2/config.json
[2024-01-19 17:42:50] INFO auto_device.py:76: Found device: cuda:0
[2024-01-19 17:42:50] INFO auto_device.py:76: Found device: cuda:1
[2024-01-19 17:42:50] INFO auto_device.py:85: Not found device: rocm:0
[2024-01-19 17:42:50] INFO auto_device.py:85: Not found device: metal:0
[2024-01-19 17:42:51] INFO auto_device.py:76: Found device: vulkan:0
[2024-01-19 17:42:51] INFO auto_device.py:76: Found device: vulkan:1
[2024-01-19 17:42:51] INFO auto_device.py:76: Found device: vulkan:2
[2024-01-19 17:42:51] INFO auto_device.py:85: Not found device: opencl:0
[2024-01-19 17:42:51] INFO auto_device.py:33: Using device: cuda:0
[2024-01-19 17:42:51] INFO auto_weight.py:70: Finding weights in: /ssd1/cfruan/models/phi-2
[2024-01-19 17:42:51] INFO auto_weight.py:136: Not found Huggingface PyTorch
[2024-01-19 17:42:51] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /ssd1/cfruan/models/phi-2/model.safetensors.index.json
[2024-01-19 17:42:51] INFO auto_weight.py:106: Using source weight configuration: /ssd1/cfruan/models/phi-2/model.safetensors.index.json. Use `--source` to override.
[2024-01-19 17:42:51] INFO auto_weight.py:110: Using source weight format: huggingface-safetensor. Use `--source-format` to override.
[2024-01-19 17:42:51] INFO auto_config.py:153: Found model type: phi-msft. Use `--model-type` to override.
[2024-01-19 17:42:51] INFO phi_model.py:116: context_window_size not found in config.json. Falling back to n_positions (2048)
Weight conversion with arguments:
  --config          /ssd1/cfruan/models/phi-2/config.json
  --quantization    NoQuantize(name='q0f32', kind='no-quant', model_dtype='float32')
  --model-type      phi-msft
  --device          cuda:0
  --source          /ssd1/cfruan/models/phi-2/model.safetensors.index.json
  --source-format   huggingface-safetensor
  --output          /tmp/tmpuqhwa6i9

  0%|                                                                                                                                                                                                                              | 0/325 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:55] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/models/phi-2/model-00002-of-00002.safetensors

  0%|                                                                                                                                                                                                                              | 0/325 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.linear.bias", shape: (51200,), dtype: float32

  0%|                                                                                                                                                                                                                              | 0/325 [00:01<?, ?it/s]
  0%|▋                                                                                                                                                                                                                     | 1/325 [00:01<05:24,  1.00s/it]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.linear.weight", shape: (51200, 2560), dtype: float32

  0%|▋                                                                                                                                                                                                                     | 1/325 [00:01<05:24,  1.00s/it]
  1%|█▎                                                                                                                                                                                                                    | 2/325 [00:01<04:30,  1.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.bias", shape: (2560,), dtype: float32

  1%|█▎                                                                                                                                                                                                                    | 2/325 [00:01<04:30,  1.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "lm_head.ln.weight", shape: (2560,), dtype: float32

  1%|█▎                                                                                                                                                                                                                    | 2/325 [00:01<04:30,  1.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  1%|█▎                                                                                                                                                                                                                    | 2/325 [00:01<04:30,  1.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

  1%|█▎                                                                                                                                                                                                                    | 2/325 [00:01<04:30,  1.19it/s]
  2%|███▉                                                                                                                                                                                                                  | 6/325 [00:01<01:08,  4.64it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.out_proj.bias", shape: (2560,), dtype: float32

  2%|███▉                                                                                                                                                                                                                  | 6/325 [00:01<01:08,  4.64it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

  2%|███▉                                                                                                                                                                                                                  | 6/325 [00:01<01:08,  4.64it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc1.bias", shape: (10240,), dtype: float32

  2%|███▉                                                                                                                                                                                                                  | 6/325 [00:01<01:08,  4.64it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

  2%|███▉                                                                                                                                                                                                                  | 6/325 [00:01<01:08,  4.64it/s]
  3%|██████▌                                                                                                                                                                                                              | 10/325 [00:02<00:39,  7.90it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc2.bias", shape: (2560,), dtype: float32

  3%|██████▌                                                                                                                                                                                                              | 10/325 [00:02<00:39,  7.90it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

  3%|██████▌                                                                                                                                                                                                              | 10/325 [00:02<00:39,  7.90it/s]
  4%|███████▊                                                                                                                                                                                                             | 12/325 [00:02<00:35,  8.87it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.ln.bias", shape: (2560,), dtype: float32

  4%|███████▊                                                                                                                                                                                                             | 12/325 [00:02<00:35,  8.87it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.ln.weight", shape: (2560,), dtype: float32

  4%|███████▊                                                                                                                                                                                                             | 12/325 [00:02<00:35,  8.87it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  4%|███████▊                                                                                                                                                                                                             | 12/325 [00:02<00:35,  8.87it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

  4%|███████▊                                                                                                                                                                                                             | 12/325 [00:02<00:35,  8.87it/s]
  5%|██████████▍                                                                                                                                                                                                          | 16/325 [00:02<00:23, 13.26it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.out_proj.bias", shape: (2560,), dtype: float32

  5%|██████████▍                                                                                                                                                                                                          | 16/325 [00:02<00:23, 13.26it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

  5%|██████████▍                                                                                                                                                                                                          | 16/325 [00:02<00:23, 13.26it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc1.bias", shape: (10240,), dtype: float32

  5%|██████████▍                                                                                                                                                                                                          | 16/325 [00:02<00:23, 13.26it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

  5%|██████████▍                                                                                                                                                                                                          | 16/325 [00:02<00:23, 13.26it/s]
  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:02<00:19, 15.61it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc2.bias", shape: (2560,), dtype: float32

  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:02<00:19, 15.61it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.31.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:02<00:19, 15.61it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:181: Unloading HF weight file: /ssd1/cfruan/models/phi-2/model-00002-of-00002.safetensors

  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:02<00:19, 15.61it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:169: Loading HF parameters from: /ssd1/cfruan/models/phi-2/model-00001-of-00002.safetensors

  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:02<00:19, 15.61it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.embd.weight", shape: (51200, 2560), dtype: float32

  6%|█████████████                                                                                                                                                                                                        | 20/325 [00:03<00:19, 15.61it/s]
  7%|███████████████                                                                                                                                                                                                      | 23/325 [00:03<00:44,  6.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.bias", shape: (2560,), dtype: float32

  7%|███████████████                                                                                                                                                                                                      | 23/325 [00:03<00:44,  6.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.ln.weight", shape: (2560,), dtype: float32

  7%|███████████████                                                                                                                                                                                                      | 23/325 [00:03<00:44,  6.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.Wqkv.bias", shape: (7680,), dtype: float32

  7%|███████████████                                                                                                                                                                                                      | 23/325 [00:03<00:44,  6.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

  7%|███████████████                                                                                                                                                                                                      | 23/325 [00:03<00:44,  6.77it/s]
  8%|█████████████████▋                                                                                                                                                                                                   | 27/325 [00:03<00:31,  9.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.out_proj.bias", shape: (2560,), dtype: float32

  8%|█████████████████▋                                                                                                                                                                                                   | 27/325 [00:03<00:31,  9.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

  8%|█████████████████▋                                                                                                                                                                                                   | 27/325 [00:03<00:31,  9.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc1.bias", shape: (10240,), dtype: float32

  8%|█████████████████▋                                                                                                                                                                                                   | 27/325 [00:03<00:31,  9.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

  8%|█████████████████▋                                                                                                                                                                                                   | 27/325 [00:03<00:31,  9.48it/s]
 10%|████████████████████▎                                                                                                                                                                                                | 31/325 [00:03<00:25, 11.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc2.bias", shape: (2560,), dtype: float32

 10%|████████████████████▎                                                                                                                                                                                                | 31/325 [00:03<00:25, 11.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.0.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 10%|████████████████████▎                                                                                                                                                                                                | 31/325 [00:03<00:25, 11.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.bias", shape: (2560,), dtype: float32

 10%|████████████████████▎                                                                                                                                                                                                | 31/325 [00:03<00:25, 11.71it/s]
 10%|██████████████████████▎                                                                                                                                                                                              | 34/325 [00:03<00:22, 13.18it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.ln.weight", shape: (2560,), dtype: float32

 10%|██████████████████████▎                                                                                                                                                                                              | 34/325 [00:03<00:22, 13.18it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 10%|██████████████████████▎                                                                                                                                                                                              | 34/325 [00:03<00:22, 13.18it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 10%|██████████████████████▎                                                                                                                                                                                              | 34/325 [00:04<00:22, 13.18it/s]
 11%|████████████████████████▏                                                                                                                                                                                            | 37/325 [00:04<00:18, 15.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.out_proj.bias", shape: (2560,), dtype: float32

 11%|████████████████████████▏                                                                                                                                                                                            | 37/325 [00:04<00:18, 15.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 11%|████████████████████████▏                                                                                                                                                                                            | 37/325 [00:04<00:18, 15.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc1.bias", shape: (10240,), dtype: float32

 11%|████████████████████████▏                                                                                                                                                                                            | 37/325 [00:04<00:18, 15.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 11%|████████████████████████▏                                                                                                                                                                                            | 37/325 [00:04<00:18, 15.32it/s]
 13%|██████████████████████████▊                                                                                                                                                                                          | 41/325 [00:04<00:16, 17.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc2.bias", shape: (2560,), dtype: float32

 13%|██████████████████████████▊                                                                                                                                                                                          | 41/325 [00:04<00:16, 17.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.1.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 13%|██████████████████████████▊                                                                                                                                                                                          | 41/325 [00:04<00:16, 17.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.bias", shape: (2560,), dtype: float32

 13%|██████████████████████████▊                                                                                                                                                                                          | 41/325 [00:04<00:16, 17.06it/s]
 14%|████████████████████████████▊                                                                                                                                                                                        | 44/325 [00:04<00:15, 17.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.ln.weight", shape: (2560,), dtype: float32

 14%|████████████████████████████▊                                                                                                                                                                                        | 44/325 [00:04<00:15, 17.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 14%|████████████████████████████▊                                                                                                                                                                                        | 44/325 [00:04<00:15, 17.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 14%|████████████████████████████▊                                                                                                                                                                                        | 44/325 [00:04<00:15, 17.83it/s]
 14%|██████████████████████████████▊                                                                                                                                                                                      | 47/325 [00:04<00:14, 19.66it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.out_proj.bias", shape: (2560,), dtype: float32

 14%|██████████████████████████████▊                                                                                                                                                                                      | 47/325 [00:04<00:14, 19.66it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 14%|██████████████████████████████▊                                                                                                                                                                                      | 47/325 [00:04<00:14, 19.66it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:42:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc1.bias", shape: (10240,), dtype: float32

 14%|██████████████████████████████▊                                                                                                                                                                                      | 47/325 [00:04<00:14, 19.66it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 14%|██████████████████████████████▊                                                                                                                                                                                      | 47/325 [00:04<00:14, 19.66it/s]
 16%|█████████████████████████████████▍                                                                                                                                                                                   | 51/325 [00:04<00:13, 20.53it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc2.bias", shape: (2560,), dtype: float32

 16%|█████████████████████████████████▍                                                                                                                                                                                   | 51/325 [00:04<00:13, 20.53it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.10.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 16%|█████████████████████████████████▍                                                                                                                                                                                   | 51/325 [00:04<00:13, 20.53it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.bias", shape: (2560,), dtype: float32

 16%|█████████████████████████████████▍                                                                                                                                                                                   | 51/325 [00:04<00:13, 20.53it/s]
 17%|███████████████████████████████████▍                                                                                                                                                                                 | 54/325 [00:04<00:13, 20.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.ln.weight", shape: (2560,), dtype: float32

 17%|███████████████████████████████████▍                                                                                                                                                                                 | 54/325 [00:04<00:13, 20.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 17%|███████████████████████████████████▍                                                                                                                                                                                 | 54/325 [00:04<00:13, 20.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 17%|███████████████████████████████████▍                                                                                                                                                                                 | 54/325 [00:04<00:13, 20.58it/s]
 18%|█████████████████████████████████████▎                                                                                                                                                                               | 57/325 [00:04<00:12, 22.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.out_proj.bias", shape: (2560,), dtype: float32

 18%|█████████████████████████████████████▎                                                                                                                                                                               | 57/325 [00:04<00:12, 22.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 18%|█████████████████████████████████████▎                                                                                                                                                                               | 57/325 [00:04<00:12, 22.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc1.bias", shape: (10240,), dtype: float32

 18%|█████████████████████████████████████▎                                                                                                                                                                               | 57/325 [00:04<00:12, 22.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 18%|█████████████████████████████████████▎                                                                                                                                                                               | 57/325 [00:05<00:12, 22.10it/s]
 19%|███████████████████████████████████████▉                                                                                                                                                                             | 61/325 [00:05<00:11, 22.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc2.bias", shape: (2560,), dtype: float32

 19%|███████████████████████████████████████▉                                                                                                                                                                             | 61/325 [00:05<00:11, 22.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.11.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 19%|███████████████████████████████████████▉                                                                                                                                                                             | 61/325 [00:05<00:11, 22.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.bias", shape: (2560,), dtype: float32

 19%|███████████████████████████████████████▉                                                                                                                                                                             | 61/325 [00:05<00:11, 22.19it/s]
 20%|█████████████████████████████████████████▉                                                                                                                                                                           | 64/325 [00:05<00:12, 21.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.ln.weight", shape: (2560,), dtype: float32

 20%|█████████████████████████████████████████▉                                                                                                                                                                           | 64/325 [00:05<00:12, 21.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 20%|█████████████████████████████████████████▉                                                                                                                                                                           | 64/325 [00:05<00:12, 21.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 20%|█████████████████████████████████████████▉                                                                                                                                                                           | 64/325 [00:05<00:12, 21.41it/s]
 21%|███████████████████████████████████████████▉                                                                                                                                                                         | 67/325 [00:05<00:11, 22.55it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.out_proj.bias", shape: (2560,), dtype: float32

 21%|███████████████████████████████████████████▉                                                                                                                                                                         | 67/325 [00:05<00:11, 22.55it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 21%|███████████████████████████████████████████▉                                                                                                                                                                         | 67/325 [00:05<00:11, 22.55it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc1.bias", shape: (10240,), dtype: float32

 21%|███████████████████████████████████████████▉                                                                                                                                                                         | 67/325 [00:05<00:11, 22.55it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 21%|███████████████████████████████████████████▉                                                                                                                                                                         | 67/325 [00:05<00:11, 22.55it/s]
 22%|██████████████████████████████████████████████▌                                                                                                                                                                      | 71/325 [00:05<00:11, 22.63it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc2.bias", shape: (2560,), dtype: float32

 22%|██████████████████████████████████████████████▌                                                                                                                                                                      | 71/325 [00:05<00:11, 22.63it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.12.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 22%|██████████████████████████████████████████████▌                                                                                                                                                                      | 71/325 [00:05<00:11, 22.63it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.bias", shape: (2560,), dtype: float32

 22%|██████████████████████████████████████████████▌                                                                                                                                                                      | 71/325 [00:05<00:11, 22.63it/s]
 23%|████████████████████████████████████████████████▍                                                                                                                                                                    | 74/325 [00:05<00:11, 21.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.ln.weight", shape: (2560,), dtype: float32

 23%|████████████████████████████████████████████████▍                                                                                                                                                                    | 74/325 [00:05<00:11, 21.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 23%|████████████████████████████████████████████████▍                                                                                                                                                                    | 74/325 [00:05<00:11, 21.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 23%|████████████████████████████████████████████████▍                                                                                                                                                                    | 74/325 [00:05<00:11, 21.94it/s]
 24%|██████████████████████████████████████████████████▍                                                                                                                                                                  | 77/325 [00:05<00:10, 23.24it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.out_proj.bias", shape: (2560,), dtype: float32

 24%|██████████████████████████████████████████████████▍                                                                                                                                                                  | 77/325 [00:05<00:10, 23.24it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 24%|██████████████████████████████████████████████████▍                                                                                                                                                                  | 77/325 [00:05<00:10, 23.24it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc1.bias", shape: (10240,), dtype: float32

 24%|██████████████████████████████████████████████████▍                                                                                                                                                                  | 77/325 [00:05<00:10, 23.24it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 24%|██████████████████████████████████████████████████▍                                                                                                                                                                  | 77/325 [00:05<00:10, 23.24it/s]
 25%|█████████████████████████████████████████████████████                                                                                                                                                                | 81/325 [00:06<00:10, 23.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc2.bias", shape: (2560,), dtype: float32

 25%|█████████████████████████████████████████████████████                                                                                                                                                                | 81/325 [00:06<00:10, 23.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.13.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 25%|█████████████████████████████████████████████████████                                                                                                                                                                | 81/325 [00:06<00:10, 23.06it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.bias", shape: (2560,), dtype: float32

 25%|█████████████████████████████████████████████████████                                                                                                                                                                | 81/325 [00:06<00:10, 23.06it/s]
 26%|███████████████████████████████████████████████████████                                                                                                                                                              | 84/325 [00:06<00:10, 22.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.ln.weight", shape: (2560,), dtype: float32

 26%|███████████████████████████████████████████████████████                                                                                                                                                              | 84/325 [00:06<00:10, 22.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 26%|███████████████████████████████████████████████████████                                                                                                                                                              | 84/325 [00:06<00:10, 22.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 26%|███████████████████████████████████████████████████████                                                                                                                                                              | 84/325 [00:06<00:10, 22.15it/s]
 27%|█████████████████████████████████████████████████████████                                                                                                                                                            | 87/325 [00:06<00:10, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.out_proj.bias", shape: (2560,), dtype: float32

 27%|█████████████████████████████████████████████████████████                                                                                                                                                            | 87/325 [00:06<00:10, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 27%|█████████████████████████████████████████████████████████                                                                                                                                                            | 87/325 [00:06<00:10, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc1.bias", shape: (10240,), dtype: float32

 27%|█████████████████████████████████████████████████████████                                                                                                                                                            | 87/325 [00:06<00:10, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 27%|█████████████████████████████████████████████████████████                                                                                                                                                            | 87/325 [00:06<00:10, 23.40it/s]
 28%|███████████████████████████████████████████████████████████▋                                                                                                                                                         | 91/325 [00:06<00:10, 23.09it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc2.bias", shape: (2560,), dtype: float32

 28%|███████████████████████████████████████████████████████████▋                                                                                                                                                         | 91/325 [00:06<00:10, 23.09it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.14.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 28%|███████████████████████████████████████████████████████████▋                                                                                                                                                         | 91/325 [00:06<00:10, 23.09it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.bias", shape: (2560,), dtype: float32

 28%|███████████████████████████████████████████████████████████▋                                                                                                                                                         | 91/325 [00:06<00:10, 23.09it/s]
 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                       | 94/325 [00:06<00:10, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.ln.weight", shape: (2560,), dtype: float32

 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                       | 94/325 [00:06<00:10, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                       | 94/325 [00:06<00:10, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                       | 94/325 [00:06<00:10, 22.38it/s]
 30%|███████████████████████████████████████████████████████████████▌                                                                                                                                                     | 97/325 [00:06<00:09, 23.17it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.out_proj.bias", shape: (2560,), dtype: float32

 30%|███████████████████████████████████████████████████████████████▌                                                                                                                                                     | 97/325 [00:06<00:09, 23.17it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 30%|███████████████████████████████████████████████████████████████▌                                                                                                                                                     | 97/325 [00:06<00:09, 23.17it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc1.bias", shape: (10240,), dtype: float32

 30%|███████████████████████████████████████████████████████████████▌                                                                                                                                                     | 97/325 [00:06<00:09, 23.17it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 30%|███████████████████████████████████████████████████████████████▌                                                                                                                                                     | 97/325 [00:06<00:09, 23.17it/s]
 31%|█████████████████████████████████████████████████████████████████▉                                                                                                                                                  | 101/325 [00:06<00:09, 22.56it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc2.bias", shape: (2560,), dtype: float32

 31%|█████████████████████████████████████████████████████████████████▉                                                                                                                                                  | 101/325 [00:06<00:09, 22.56it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.15.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 31%|█████████████████████████████████████████████████████████████████▉                                                                                                                                                  | 101/325 [00:07<00:09, 22.56it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.bias", shape: (2560,), dtype: float32

 31%|█████████████████████████████████████████████████████████████████▉                                                                                                                                                  | 101/325 [00:07<00:09, 22.56it/s]
 32%|███████████████████████████████████████████████████████████████████▊                                                                                                                                                | 104/325 [00:07<00:10, 21.84it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.ln.weight", shape: (2560,), dtype: float32

 32%|███████████████████████████████████████████████████████████████████▊                                                                                                                                                | 104/325 [00:07<00:10, 21.84it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 32%|███████████████████████████████████████████████████████████████████▊                                                                                                                                                | 104/325 [00:07<00:10, 21.84it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 32%|███████████████████████████████████████████████████████████████████▊                                                                                                                                                | 104/325 [00:07<00:10, 21.84it/s]
 33%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                              | 107/325 [00:07<00:09, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.out_proj.bias", shape: (2560,), dtype: float32

 33%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                              | 107/325 [00:07<00:09, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 33%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                              | 107/325 [00:07<00:09, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc1.bias", shape: (10240,), dtype: float32

 33%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                              | 107/325 [00:07<00:09, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 33%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                              | 107/325 [00:07<00:09, 23.20it/s]
 34%|████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 111/325 [00:07<00:09, 22.95it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc2.bias", shape: (2560,), dtype: float32

 34%|████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 111/325 [00:07<00:09, 22.95it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.16.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 34%|████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 111/325 [00:07<00:09, 22.95it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.bias", shape: (2560,), dtype: float32

 34%|████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 111/325 [00:07<00:09, 22.95it/s]
 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                         | 114/325 [00:07<00:09, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.ln.weight", shape: (2560,), dtype: float32

 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                         | 114/325 [00:07<00:09, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                         | 114/325 [00:07<00:09, 22.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                         | 114/325 [00:07<00:09, 22.38it/s]
 36%|████████████████████████████████████████████████████████████████████████████▎                                                                                                                                       | 117/325 [00:07<00:08, 23.51it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.out_proj.bias", shape: (2560,), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████▎                                                                                                                                       | 117/325 [00:07<00:08, 23.51it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████▎                                                                                                                                       | 117/325 [00:07<00:08, 23.51it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc1.bias", shape: (10240,), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████▎                                                                                                                                       | 117/325 [00:07<00:08, 23.51it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 36%|████████████████████████████████████████████████████████████████████████████▎                                                                                                                                       | 117/325 [00:07<00:08, 23.51it/s]
 37%|██████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 121/325 [00:07<00:08, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc2.bias", shape: (2560,), dtype: float32

 37%|██████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 121/325 [00:07<00:08, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.17.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 37%|██████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 121/325 [00:07<00:08, 23.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.bias", shape: (2560,), dtype: float32

 37%|██████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 121/325 [00:07<00:08, 23.40it/s]
 38%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                   | 124/325 [00:07<00:08, 22.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.ln.weight", shape: (2560,), dtype: float32

 38%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                   | 124/325 [00:07<00:08, 22.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 38%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                   | 124/325 [00:07<00:08, 22.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 38%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                   | 124/325 [00:08<00:08, 22.59it/s]
 39%|██████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                 | 127/325 [00:08<00:08, 23.78it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.out_proj.bias", shape: (2560,), dtype: float32

 39%|██████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                 | 127/325 [00:08<00:08, 23.78it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 39%|██████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                 | 127/325 [00:08<00:08, 23.78it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc1.bias", shape: (10240,), dtype: float32

 39%|██████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                 | 127/325 [00:08<00:08, 23.78it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 39%|██████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                 | 127/325 [00:08<00:08, 23.78it/s]
 40%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 131/325 [00:08<00:08, 23.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc2.bias", shape: (2560,), dtype: float32

 40%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 131/325 [00:08<00:08, 23.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.18.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 40%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 131/325 [00:08<00:08, 23.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.bias", shape: (2560,), dtype: float32

 40%|█████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                              | 131/325 [00:08<00:08, 23.34it/s]
 41%|███████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 134/325 [00:08<00:08, 22.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.ln.weight", shape: (2560,), dtype: float32

 41%|███████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 134/325 [00:08<00:08, 22.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 41%|███████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 134/325 [00:08<00:08, 22.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 41%|███████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 134/325 [00:08<00:08, 22.35it/s]
 42%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                          | 137/325 [00:08<00:07, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.out_proj.bias", shape: (2560,), dtype: float32

 42%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                          | 137/325 [00:08<00:07, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 42%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                          | 137/325 [00:08<00:07, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc1.bias", shape: (10240,), dtype: float32

 42%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                          | 137/325 [00:08<00:07, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 42%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                          | 137/325 [00:08<00:07, 23.58it/s]
 43%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                        | 141/325 [00:08<00:07, 23.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc2.bias", shape: (2560,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                        | 141/325 [00:08<00:07, 23.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.19.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                        | 141/325 [00:08<00:07, 23.32it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.bias", shape: (2560,), dtype: float32

 43%|███████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                        | 141/325 [00:08<00:07, 23.32it/s]
 44%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                      | 144/325 [00:08<00:08, 22.49it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.ln.weight", shape: (2560,), dtype: float32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                      | 144/325 [00:08<00:08, 22.49it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                      | 144/325 [00:08<00:08, 22.49it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 44%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                      | 144/325 [00:08<00:08, 22.49it/s]
 45%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 147/325 [00:08<00:07, 23.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.out_proj.bias", shape: (2560,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 147/325 [00:08<00:07, 23.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 147/325 [00:08<00:07, 23.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc1.bias", shape: (10240,), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 147/325 [00:08<00:07, 23.77it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 45%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                    | 147/325 [00:09<00:07, 23.77it/s]
 46%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 151/325 [00:09<00:07, 23.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc2.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 151/325 [00:09<00:07, 23.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.2.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 151/325 [00:09<00:07, 23.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.bias", shape: (2560,), dtype: float32

 46%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                 | 151/325 [00:09<00:07, 23.39it/s]
 47%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 154/325 [00:09<00:07, 22.57it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.ln.weight", shape: (2560,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 154/325 [00:09<00:07, 22.57it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 154/325 [00:09<00:07, 22.57it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 47%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 154/325 [00:09<00:07, 22.57it/s]
 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                             | 157/325 [00:09<00:07, 23.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.out_proj.bias", shape: (2560,), dtype: float32

 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                             | 157/325 [00:09<00:07, 23.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                             | 157/325 [00:09<00:07, 23.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc1.bias", shape: (10240,), dtype: float32

 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                             | 157/325 [00:09<00:07, 23.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                             | 157/325 [00:09<00:07, 23.83it/s]
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 161/325 [00:09<00:06, 23.54it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc2.bias", shape: (2560,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 161/325 [00:09<00:06, 23.54it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.20.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 161/325 [00:09<00:06, 23.54it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.bias", shape: (2560,), dtype: float32

 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 161/325 [00:09<00:06, 23.54it/s]
 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                         | 164/325 [00:09<00:07, 22.44it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.ln.weight", shape: (2560,), dtype: float32

 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                         | 164/325 [00:09<00:07, 22.44it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                         | 164/325 [00:09<00:07, 22.44it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                         | 164/325 [00:09<00:07, 22.44it/s]
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 167/325 [00:09<00:06, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.out_proj.bias", shape: (2560,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 167/325 [00:09<00:06, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 167/325 [00:09<00:06, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc1.bias", shape: (10240,), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 167/325 [00:09<00:06, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 167/325 [00:09<00:06, 23.58it/s]
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 171/325 [00:09<00:06, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc2.bias", shape: (2560,), dtype: float32

 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 171/325 [00:09<00:06, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.21.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 171/325 [00:10<00:06, 23.20it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.bias", shape: (2560,), dtype: float32

 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 171/325 [00:10<00:06, 23.20it/s]
 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                  | 174/325 [00:10<00:06, 22.37it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.ln.weight", shape: (2560,), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                  | 174/325 [00:10<00:06, 22.37it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                  | 174/325 [00:10<00:06, 22.37it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                  | 174/325 [00:10<00:06, 22.37it/s]
 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 177/325 [00:10<00:06, 23.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.out_proj.bias", shape: (2560,), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 177/325 [00:10<00:06, 23.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 177/325 [00:10<00:06, 23.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc1.bias", shape: (10240,), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 177/325 [00:10<00:06, 23.41it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 177/325 [00:10<00:06, 23.41it/s]
 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                              | 181/325 [00:10<00:06, 23.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc2.bias", shape: (2560,), dtype: float32

 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                              | 181/325 [00:10<00:06, 23.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.22.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                              | 181/325 [00:10<00:06, 23.10it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.bias", shape: (2560,), dtype: float32

 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                              | 181/325 [00:10<00:06, 23.10it/s]
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                            | 184/325 [00:10<00:06, 22.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.ln.weight", shape: (2560,), dtype: float32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                            | 184/325 [00:10<00:06, 22.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                            | 184/325 [00:10<00:06, 22.39it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                            | 184/325 [00:10<00:06, 22.39it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                          | 187/325 [00:10<00:05, 23.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.out_proj.bias", shape: (2560,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                          | 187/325 [00:10<00:05, 23.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                          | 187/325 [00:10<00:05, 23.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc1.bias", shape: (10240,), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                          | 187/325 [00:10<00:05, 23.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                          | 187/325 [00:10<00:05, 23.71it/s]
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                       | 191/325 [00:10<00:05, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc2.bias", shape: (2560,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                       | 191/325 [00:10<00:05, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.23.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                       | 191/325 [00:10<00:05, 23.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.ln.bias", shape: (2560,), dtype: float32

 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                       | 191/325 [00:10<00:05, 23.58it/s]
 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 194/325 [00:10<00:05, 22.82it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.ln.weight", shape: (2560,), dtype: float32

 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 194/325 [00:10<00:05, 22.82it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 194/325 [00:10<00:05, 22.82it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                     | 194/325 [00:11<00:05, 22.82it/s]
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                   | 197/325 [00:11<00:05, 22.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.out_proj.bias", shape: (2560,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                   | 197/325 [00:11<00:05, 22.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                   | 197/325 [00:11<00:05, 22.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc1.bias", shape: (10240,), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                   | 197/325 [00:11<00:05, 22.48it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                   | 197/325 [00:11<00:05, 22.48it/s]
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 201/325 [00:11<00:05, 20.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc2.bias", shape: (2560,), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 201/325 [00:11<00:05, 20.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.24.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 201/325 [00:11<00:05, 20.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.ln.bias", shape: (2560,), dtype: float32

 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 201/325 [00:11<00:05, 20.75it/s]
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                               | 204/325 [00:11<00:07, 16.79it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.ln.weight", shape: (2560,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                               | 204/325 [00:11<00:07, 16.79it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                               | 204/325 [00:11<00:07, 16.79it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                               | 204/325 [00:11<00:07, 16.79it/s]
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 207/325 [00:11<00:06, 18.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.out_proj.bias", shape: (2560,), dtype: float32

 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 207/325 [00:11<00:06, 18.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 207/325 [00:11<00:06, 18.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc1.bias", shape: (10240,), dtype: float32

 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 207/325 [00:11<00:06, 18.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 207/325 [00:11<00:06, 18.27it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 211/325 [00:11<00:06, 18.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc2.bias", shape: (2560,), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 211/325 [00:11<00:06, 18.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.25.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 211/325 [00:12<00:06, 18.59it/s]
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                         | 213/325 [00:12<00:07, 15.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.ln.bias", shape: (2560,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                         | 213/325 [00:12<00:07, 15.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.ln.weight", shape: (2560,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                         | 213/325 [00:12<00:07, 15.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                         | 213/325 [00:12<00:07, 15.94it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                         | 213/325 [00:12<00:07, 15.94it/s]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                      | 217/325 [00:12<00:06, 17.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.out_proj.bias", shape: (2560,), dtype: float32

 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                      | 217/325 [00:12<00:06, 17.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                      | 217/325 [00:12<00:06, 17.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc1.bias", shape: (10240,), dtype: float32

 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                      | 217/325 [00:12<00:06, 17.19it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                      | 217/325 [00:12<00:06, 17.19it/s]
 68%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                   | 221/325 [00:12<00:06, 17.29it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc2.bias", shape: (2560,), dtype: float32

 68%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                   | 221/325 [00:12<00:06, 17.29it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.26.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 68%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                   | 221/325 [00:12<00:06, 17.29it/s]
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                  | 223/325 [00:12<00:07, 13.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.ln.bias", shape: (2560,), dtype: float32

 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                  | 223/325 [00:12<00:07, 13.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.ln.weight", shape: (2560,), dtype: float32

 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                  | 223/325 [00:12<00:07, 13.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                  | 223/325 [00:12<00:07, 13.83it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                  | 223/325 [00:12<00:07, 13.83it/s]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                | 227/325 [00:12<00:05, 16.76it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.out_proj.bias", shape: (2560,), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                | 227/325 [00:12<00:05, 16.76it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                | 227/325 [00:12<00:05, 16.76it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc1.bias", shape: (10240,), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                | 227/325 [00:12<00:05, 16.76it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                | 227/325 [00:13<00:05, 16.76it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                             | 231/325 [00:13<00:05, 16.13it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc2.bias", shape: (2560,), dtype: float32

 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                             | 231/325 [00:13<00:05, 16.13it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.27.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                             | 231/325 [00:13<00:05, 16.13it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 233/325 [00:13<00:06, 14.04it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.ln.bias", shape: (2560,), dtype: float32

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 233/325 [00:13<00:06, 14.04it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.ln.weight", shape: (2560,), dtype: float32

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 233/325 [00:13<00:06, 14.04it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 233/325 [00:13<00:06, 14.04it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                            | 233/325 [00:13<00:06, 14.04it/s]
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                         | 237/325 [00:13<00:04, 17.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.out_proj.bias", shape: (2560,), dtype: float32

 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                         | 237/325 [00:13<00:04, 17.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                         | 237/325 [00:13<00:04, 17.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc1.bias", shape: (10240,), dtype: float32

 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                         | 237/325 [00:13<00:04, 17.71it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                         | 237/325 [00:13<00:04, 17.71it/s]
 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                      | 241/325 [00:13<00:05, 16.68it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc2.bias", shape: (2560,), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                      | 241/325 [00:13<00:05, 16.68it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.28.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 74%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                      | 241/325 [00:13<00:05, 16.68it/s]
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                     | 243/325 [00:14<00:05, 14.86it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.ln.bias", shape: (2560,), dtype: float32

 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                     | 243/325 [00:14<00:05, 14.86it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.ln.weight", shape: (2560,), dtype: float32

 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                     | 243/325 [00:14<00:05, 14.86it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                     | 243/325 [00:14<00:05, 14.86it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                     | 243/325 [00:14<00:05, 14.86it/s]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                   | 247/325 [00:14<00:04, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.out_proj.bias", shape: (2560,), dtype: float32

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                   | 247/325 [00:14<00:04, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                   | 247/325 [00:14<00:04, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc1.bias", shape: (10240,), dtype: float32

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                   | 247/325 [00:14<00:04, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                   | 247/325 [00:14<00:04, 16.88it/s]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 251/325 [00:14<00:04, 16.14it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc2.bias", shape: (2560,), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 251/325 [00:14<00:04, 16.14it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.29.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                | 251/325 [00:14<00:04, 16.14it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 253/325 [00:14<00:05, 14.03it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.bias", shape: (2560,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 253/325 [00:14<00:05, 14.03it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.ln.weight", shape: (2560,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 253/325 [00:14<00:05, 14.03it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 253/325 [00:14<00:05, 14.03it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                               | 253/325 [00:14<00:05, 14.03it/s]
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                            | 257/325 [00:14<00:04, 16.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.out_proj.bias", shape: (2560,), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                            | 257/325 [00:14<00:04, 16.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                            | 257/325 [00:14<00:04, 16.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc1.bias", shape: (10240,), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                            | 257/325 [00:14<00:04, 16.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                            | 257/325 [00:15<00:04, 16.40it/s]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 261/325 [00:15<00:03, 16.37it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc2.bias", shape: (2560,), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 261/325 [00:15<00:03, 16.37it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.3.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 261/325 [00:15<00:03, 16.37it/s]
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.ln.bias", shape: (2560,), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.30.ln.weight", shape: (2560,), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.bias", shape: (2560,), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.ln.weight", shape: (2560,), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 263/325 [00:15<00:04, 13.99it/s]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                    | 269/325 [00:15<00:02, 19.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.out_proj.bias", shape: (2560,), dtype: float32

 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                    | 269/325 [00:15<00:02, 19.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                    | 269/325 [00:15<00:02, 19.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc1.bias", shape: (10240,), dtype: float32

 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                    | 269/325 [00:15<00:02, 19.35it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                    | 269/325 [00:15<00:02, 19.35it/s]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 273/325 [00:15<00:02, 19.08it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc2.bias", shape: (2560,), dtype: float32

 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 273/325 [00:15<00:02, 19.08it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.4.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 273/325 [00:15<00:02, 19.08it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.bias", shape: (2560,), dtype: float32

 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                  | 273/325 [00:15<00:02, 19.08it/s]
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 276/325 [00:15<00:02, 18.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.ln.weight", shape: (2560,), dtype: float32

 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 276/325 [00:15<00:02, 18.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 276/325 [00:15<00:02, 18.75it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 276/325 [00:15<00:02, 18.75it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 279/325 [00:16<00:02, 19.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.out_proj.bias", shape: (2560,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 279/325 [00:16<00:02, 19.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 279/325 [00:16<00:02, 19.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc1.bias", shape: (10240,), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 279/325 [00:16<00:02, 19.15it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 279/325 [00:16<00:02, 19.15it/s]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 283/325 [00:16<00:02, 17.85it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc2.bias", shape: (2560,), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 283/325 [00:16<00:02, 17.85it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.5.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 283/325 [00:16<00:02, 17.85it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 285/325 [00:16<00:02, 15.70it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.bias", shape: (2560,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 285/325 [00:16<00:02, 15.70it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.ln.weight", shape: (2560,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 285/325 [00:16<00:02, 15.70it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 285/325 [00:16<00:02, 15.70it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 285/325 [00:16<00:02, 15.70it/s]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 289/325 [00:16<00:01, 18.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.out_proj.bias", shape: (2560,), dtype: float32

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 289/325 [00:16<00:01, 18.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 289/325 [00:16<00:01, 18.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc1.bias", shape: (10240,), dtype: float32

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 289/325 [00:16<00:01, 18.34it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 289/325 [00:16<00:01, 18.34it/s]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 293/325 [00:16<00:02, 15.96it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc2.bias", shape: (2560,), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 293/325 [00:16<00:02, 15.96it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.6.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 293/325 [00:17<00:02, 15.96it/s]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 295/325 [00:17<00:02, 13.52it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.bias", shape: (2560,), dtype: float32

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 295/325 [00:17<00:02, 13.52it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.ln.weight", shape: (2560,), dtype: float32

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 295/325 [00:17<00:02, 13.52it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 295/325 [00:17<00:02, 13.52it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 295/325 [00:17<00:02, 13.52it/s]
 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 299/325 [00:17<00:01, 16.21it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.out_proj.bias", shape: (2560,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 299/325 [00:17<00:01, 16.21it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 299/325 [00:17<00:01, 16.21it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc1.bias", shape: (10240,), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 299/325 [00:17<00:01, 16.21it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 299/325 [00:17<00:01, 16.21it/s]
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 303/325 [00:17<00:01, 16.16it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc2.bias", shape: (2560,), dtype: float32

 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 303/325 [00:17<00:01, 16.16it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.7.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 303/325 [00:17<00:01, 16.16it/s]
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 305/325 [00:17<00:01, 14.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.bias", shape: (2560,), dtype: float32

 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 305/325 [00:17<00:01, 14.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.ln.weight", shape: (2560,), dtype: float32

 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 305/325 [00:17<00:01, 14.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 305/325 [00:17<00:01, 14.59it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 305/325 [00:17<00:01, 14.59it/s]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 309/325 [00:17<00:00, 17.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.out_proj.bias", shape: (2560,), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 309/325 [00:17<00:00, 17.38it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 309/325 [00:18<00:00, 17.38it/s]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 311/325 [00:18<00:00, 17.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc1.bias", shape: (10240,), dtype: float32

 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 311/325 [00:18<00:00, 17.27it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 311/325 [00:18<00:00, 17.27it/s]
 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 313/325 [00:18<00:00, 15.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc2.bias", shape: (2560,), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 313/325 [00:18<00:00, 15.58it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.8.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 313/325 [00:18<00:00, 15.58it/s]
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 315/325 [00:18<00:00, 12.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.bias", shape: (2560,), dtype: float32

 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 315/325 [00:18<00:00, 12.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.ln.weight", shape: (2560,), dtype: float32

 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 315/325 [00:18<00:00, 12.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.Wqkv.bias", shape: (7680,), dtype: float32

 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 315/325 [00:18<00:00, 12.40it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.Wqkv.weight", shape: (7680, 2560), dtype: float32

 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 315/325 [00:18<00:00, 12.40it/s]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 319/325 [00:18<00:00, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.out_proj.bias", shape: (2560,), dtype: float32

 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 319/325 [00:18<00:00, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mixer.out_proj.weight", shape: (2560, 2560), dtype: float32

 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 319/325 [00:18<00:00, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc1.bias", shape: (10240,), dtype: float32

 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 319/325 [00:18<00:00, 16.88it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc1.weight", shape: (10240, 2560), dtype: float32

 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 319/325 [00:18<00:00, 16.88it/s]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 323/325 [00:18<00:00, 15.80it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc2.bias", shape: (2560,), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 323/325 [00:18<00:00, 15.80it/s]
                                                                                                                                                                                                                                                           
[2024-01-19 17:43:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "transformer.h.9.mlp.fc2.weight", shape: (2560, 10240), dtype: float32

 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 323/325 [00:19<00:00, 15.80it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 325/325 [00:19<00:00, 13.54it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 325/325 [00:19<00:00, 17.02it/s]
[2024-01-19 17:43:14] INFO huggingface_loader.py:181: Unloading HF weight file: /ssd1/cfruan/models/phi-2/model-00001-of-00002.safetensors
[2024-01-19 17:43:14] INFO stats.py:76: Time usage: HF loading: 1.175 sec; Pre-quantization mapping: 13.638 sec; Quantization: 0.000 sec
[2024-01-19 17:43:14] INFO stats.py:90: RAM usage: Peak RAM: 4.640 GB. Total bytes loaded from disk: 5.178 GB
[2024-01-19 17:43:14] INFO convert_weight.py:121: Parameter size after quantization: 10.355 GB
[2024-01-19 17:43:14] INFO convert_weight.py:126: Total parameters: 2,779,683,840
[2024-01-19 17:43:14] INFO convert_weight.py:127: Bits per parameter: 32.000
Start storing to cache /tmp/tmpuqhwa6i9


[0001/0325] saving lm_head.linear.bias
                                      
[0002/0325] saving lm_head.linear.weight
                                        
[0003/0325] saving lm_head.ln.bias
                                        
[0004/0325] saving lm_head.ln.weight
                                        
[0005/0325] saving transformer.h.30.mixer.Wqkv.bias
                                                   
[0006/0325] saving transformer.h.30.mixer.Wqkv.weight
                                                     
[0007/0325] saving transformer.h.30.mixer.out_proj.bias
                                                       
[0008/0325] saving transformer.h.30.mixer.out_proj.weight
                                                         
[0009/0325] saving transformer.h.30.mlp.fc1.bias
                                                         
[0010/0325] saving transformer.h.30.mlp.fc1.weight
                                                         
[0011/0325] saving transformer.h.30.mlp.fc2.bias
                                                         
[0012/0325] saving transformer.h.30.mlp.fc2.weight
                                                         
[0013/0325] saving transformer.h.31.ln.bias
                                                         
[0014/0325] saving transformer.h.31.ln.weight
                                                         
[0015/0325] saving transformer.h.31.mixer.Wqkv.bias
                                                         
[0016/0325] saving transformer.h.31.mixer.Wqkv.weight
                                                         
[0017/0325] saving transformer.h.31.mixer.out_proj.bias
                                                         
[0018/0325] saving transformer.h.31.mixer.out_proj.weight
                                                         
[0019/0325] saving transformer.h.31.mlp.fc1.bias
                                                         
[0020/0325] saving transformer.h.31.mlp.fc1.weight
                                                         
[0021/0325] saving transformer.h.31.mlp.fc2.bias
                                                         
[0022/0325] saving transformer.h.31.mlp.fc2.weight
                                                         
[0023/0325] saving transformer.embd.weight
                                                         
[0024/0325] saving transformer.h.0.ln.bias
                                                         
[0025/0325] saving transformer.h.0.ln.weight
                                                         
[0026/0325] saving transformer.h.0.mixer.Wqkv.bias
                                                         
[0027/0325] saving transformer.h.0.mixer.Wqkv.weight
                                                         
[0028/0325] saving transformer.h.0.mixer.out_proj.bias
                                                         
[0029/0325] saving transformer.h.0.mixer.out_proj.weight
                                                         
[0030/0325] saving transformer.h.0.mlp.fc1.bias
                                                         
[0031/0325] saving transformer.h.0.mlp.fc1.weight
                                                         
[0032/0325] saving transformer.h.0.mlp.fc2.bias
                                                         
[0033/0325] saving transformer.h.0.mlp.fc2.weight
                                                         
[0034/0325] saving transformer.h.1.ln.bias
                                                         
[0035/0325] saving transformer.h.1.ln.weight
                                                         
[0036/0325] saving transformer.h.1.mixer.Wqkv.bias
                                                         
[0037/0325] saving transformer.h.1.mixer.Wqkv.weight
                                                         
[0038/0325] saving transformer.h.1.mixer.out_proj.bias
                                                         
[0039/0325] saving transformer.h.1.mixer.out_proj.weight
                                                         
[0040/0325] saving transformer.h.1.mlp.fc1.bias
                                                         
[0041/0325] saving transformer.h.1.mlp.fc1.weight
                                                         
[0042/0325] saving transformer.h.1.mlp.fc2.bias
                                                         
[0043/0325] saving transformer.h.1.mlp.fc2.weight
                                                         
[0044/0325] saving transformer.h.10.ln.bias
                                                         
[0045/0325] saving transformer.h.10.ln.weight
                                                         
[0046/0325] saving transformer.h.10.mixer.Wqkv.bias
                                                         
[0047/0325] saving transformer.h.10.mixer.Wqkv.weight
                                                         
[0048/0325] saving transformer.h.10.mixer.out_proj.bias
                                                         
[0049/0325] saving transformer.h.10.mixer.out_proj.weight
                                                         
[0050/0325] saving transformer.h.10.mlp.fc1.bias
                                                         
[0051/0325] saving transformer.h.10.mlp.fc1.weight
                                                         
[0052/0325] saving transformer.h.10.mlp.fc2.bias
                                                         
[0053/0325] saving transformer.h.10.mlp.fc2.weight
                                                         
[0054/0325] saving transformer.h.11.ln.bias
                                                         
[0055/0325] saving transformer.h.11.ln.weight
                                                         
[0056/0325] saving transformer.h.11.mixer.Wqkv.bias
                                                         
[0057/0325] saving transformer.h.11.mixer.Wqkv.weight
                                                         
[0058/0325] saving transformer.h.11.mixer.out_proj.bias
                                                         
[0059/0325] saving transformer.h.11.mixer.out_proj.weight
                                                         
[0060/0325] saving transformer.h.11.mlp.fc1.bias
                                                         
[0061/0325] saving transformer.h.11.mlp.fc1.weight
                                                         
[0062/0325] saving transformer.h.11.mlp.fc2.bias
                                                         
[0063/0325] saving transformer.h.11.mlp.fc2.weight
                                                         
[0064/0325] saving transformer.h.12.ln.bias
                                                         
[0065/0325] saving transformer.h.12.ln.weight
                                                         
[0066/0325] saving transformer.h.12.mixer.Wqkv.bias
                                                         
[0067/0325] saving transformer.h.12.mixer.Wqkv.weight
                                                         
[0068/0325] saving transformer.h.12.mixer.out_proj.bias
                                                         
[0069/0325] saving transformer.h.12.mixer.out_proj.weight
                                                         
[0070/0325] saving transformer.h.12.mlp.fc1.bias
                                                         
[0071/0325] saving transformer.h.12.mlp.fc1.weight
                                                         
[0072/0325] saving transformer.h.12.mlp.fc2.bias
                                                         
[0073/0325] saving transformer.h.12.mlp.fc2.weight
                                                         
[0074/0325] saving transformer.h.13.ln.bias
                                                         
[0075/0325] saving transformer.h.13.ln.weight
                                                         
[0076/0325] saving transformer.h.13.mixer.Wqkv.bias
                                                         
[0077/0325] saving transformer.h.13.mixer.Wqkv.weight
                                                         
[0078/0325] saving transformer.h.13.mixer.out_proj.bias
                                                         
[0079/0325] saving transformer.h.13.mixer.out_proj.weight
                                                         
[0080/0325] saving transformer.h.13.mlp.fc1.bias
                                                         
[0081/0325] saving transformer.h.13.mlp.fc1.weight
                                                         
[0082/0325] saving transformer.h.13.mlp.fc2.bias
                                                         
[0083/0325] saving transformer.h.13.mlp.fc2.weight
                                                         
[0084/0325] saving transformer.h.14.ln.bias
                                                         
[0085/0325] saving transformer.h.14.ln.weight
                                                         
[0086/0325] saving transformer.h.14.mixer.Wqkv.bias
                                                         
[0087/0325] saving transformer.h.14.mixer.Wqkv.weight
                                                         
[0088/0325] saving transformer.h.14.mixer.out_proj.bias
                                                         
[0089/0325] saving transformer.h.14.mixer.out_proj.weight
                                                         
[0090/0325] saving transformer.h.14.mlp.fc1.bias
                                                         
[0091/0325] saving transformer.h.14.mlp.fc1.weight
                                                         
[0092/0325] saving transformer.h.14.mlp.fc2.bias
                                                         
[0093/0325] saving transformer.h.14.mlp.fc2.weight
                                                         
[0094/0325] saving transformer.h.15.ln.bias
                                                         
[0095/0325] saving transformer.h.15.ln.weight
                                                         
[0096/0325] saving transformer.h.15.mixer.Wqkv.bias
                                                         
[0097/0325] saving transformer.h.15.mixer.Wqkv.weight
                                                         
[0098/0325] saving transformer.h.15.mixer.out_proj.bias
                                                         
[0099/0325] saving transformer.h.15.mixer.out_proj.weight
                                                         
[0100/0325] saving transformer.h.15.mlp.fc1.bias
                                                         
[0101/0325] saving transformer.h.15.mlp.fc1.weight
                                                         
[0102/0325] saving transformer.h.15.mlp.fc2.bias
                                                         
[0103/0325] saving transformer.h.15.mlp.fc2.weight
                                                         
[0104/0325] saving transformer.h.16.ln.bias
                                                         
[0105/0325] saving transformer.h.16.ln.weight
                                                         
[0106/0325] saving transformer.h.16.mixer.Wqkv.bias
                                                         
[0107/0325] saving transformer.h.16.mixer.Wqkv.weight
                                                         
[0108/0325] saving transformer.h.16.mixer.out_proj.bias
                                                         
[0109/0325] saving transformer.h.16.mixer.out_proj.weight
                                                         
[0110/0325] saving transformer.h.16.mlp.fc1.bias
                                                         
[0111/0325] saving transformer.h.16.mlp.fc1.weight
                                                         
[0112/0325] saving transformer.h.16.mlp.fc2.bias
                                                         
[0113/0325] saving transformer.h.16.mlp.fc2.weight
                                                         
[0114/0325] saving transformer.h.17.ln.bias
                                                         
[0115/0325] saving transformer.h.17.ln.weight
                                                         
[0116/0325] saving transformer.h.17.mixer.Wqkv.bias
                                                         
[0117/0325] saving transformer.h.17.mixer.Wqkv.weight
                                                         
[0118/0325] saving transformer.h.17.mixer.out_proj.bias
                                                         
[0119/0325] saving transformer.h.17.mixer.out_proj.weight
                                                         
[0120/0325] saving transformer.h.17.mlp.fc1.bias
                                                         
[0121/0325] saving transformer.h.17.mlp.fc1.weight
                                                         
[0122/0325] saving transformer.h.17.mlp.fc2.bias
                                                         
[0123/0325] saving transformer.h.17.mlp.fc2.weight
                                                         
[0124/0325] saving transformer.h.18.ln.bias
                                                         
[0125/0325] saving transformer.h.18.ln.weight
                                                         
[0126/0325] saving transformer.h.18.mixer.Wqkv.bias
                                                         
[0127/0325] saving transformer.h.18.mixer.Wqkv.weight
                                                         
[0128/0325] saving transformer.h.18.mixer.out_proj.bias
                                                         
[0129/0325] saving transformer.h.18.mixer.out_proj.weight
                                                         
[0130/0325] saving transformer.h.18.mlp.fc1.bias
                                                         
[0131/0325] saving transformer.h.18.mlp.fc1.weight
                                                         
[0132/0325] saving transformer.h.18.mlp.fc2.bias
                                                         
[0133/0325] saving transformer.h.18.mlp.fc2.weight
                                                         
[0134/0325] saving transformer.h.19.ln.bias
                                                         
[0135/0325] saving transformer.h.19.ln.weight
                                                         
[0136/0325] saving transformer.h.19.mixer.Wqkv.bias
                                                         
[0137/0325] saving transformer.h.19.mixer.Wqkv.weight
                                                         
[0138/0325] saving transformer.h.19.mixer.out_proj.bias
                                                         
[0139/0325] saving transformer.h.19.mixer.out_proj.weight
                                                         
[0140/0325] saving transformer.h.19.mlp.fc1.bias
                                                         
[0141/0325] saving transformer.h.19.mlp.fc1.weight
                                                         
[0142/0325] saving transformer.h.19.mlp.fc2.bias
                                                         
[0143/0325] saving transformer.h.19.mlp.fc2.weight
                                                         
[0144/0325] saving transformer.h.2.ln.bias
                                                         
[0145/0325] saving transformer.h.2.ln.weight
                                                         
[0146/0325] saving transformer.h.2.mixer.Wqkv.bias
                                                         
[0147/0325] saving transformer.h.2.mixer.Wqkv.weight
                                                         
[0148/0325] saving transformer.h.2.mixer.out_proj.bias
                                                         
[0149/0325] saving transformer.h.2.mixer.out_proj.weight
                                                         
[0150/0325] saving transformer.h.2.mlp.fc1.bias
                                                         
[0151/0325] saving transformer.h.2.mlp.fc1.weight
                                                         
[0152/0325] saving transformer.h.2.mlp.fc2.bias
                                                         
[0153/0325] saving transformer.h.2.mlp.fc2.weight
                                                         
[0154/0325] saving transformer.h.20.ln.bias
                                                         
[0155/0325] saving transformer.h.20.ln.weight
                                                         
[0156/0325] saving transformer.h.20.mixer.Wqkv.bias
                                                         
[0157/0325] saving transformer.h.20.mixer.Wqkv.weight
                                                         
[0158/0325] saving transformer.h.20.mixer.out_proj.bias
                                                         
[0159/0325] saving transformer.h.20.mixer.out_proj.weight
                                                         
[0160/0325] saving transformer.h.20.mlp.fc1.bias
                                                         
[0161/0325] saving transformer.h.20.mlp.fc1.weight
                                                         
[0162/0325] saving transformer.h.20.mlp.fc2.bias
                                                         
[0163/0325] saving transformer.h.20.mlp.fc2.weight
                                                         
[0164/0325] saving transformer.h.21.ln.bias
                                                         
[0165/0325] saving transformer.h.21.ln.weight
                                                         
[0166/0325] saving transformer.h.21.mixer.Wqkv.bias
                                                         
[0167/0325] saving transformer.h.21.mixer.Wqkv.weight
                                                         
[0168/0325] saving transformer.h.21.mixer.out_proj.bias
                                                         
[0169/0325] saving transformer.h.21.mixer.out_proj.weight
                                                         
[0170/0325] saving transformer.h.21.mlp.fc1.bias
                                                         
[0171/0325] saving transformer.h.21.mlp.fc1.weight
                                                         
[0172/0325] saving transformer.h.21.mlp.fc2.bias
                                                         
[0173/0325] saving transformer.h.21.mlp.fc2.weight
                                                         
[0174/0325] saving transformer.h.22.ln.bias
                                                         
[0175/0325] saving transformer.h.22.ln.weight
                                                         
[0176/0325] saving transformer.h.22.mixer.Wqkv.bias
                                                         
[0177/0325] saving transformer.h.22.mixer.Wqkv.weight
                                                         
[0178/0325] saving transformer.h.22.mixer.out_proj.bias
                                                         
[0179/0325] saving transformer.h.22.mixer.out_proj.weight
                                                         
[0180/0325] saving transformer.h.22.mlp.fc1.bias
                                                         
[0181/0325] saving transformer.h.22.mlp.fc1.weight
                                                         
[0182/0325] saving transformer.h.22.mlp.fc2.bias
                                                         
[0183/0325] saving transformer.h.22.mlp.fc2.weight
                                                         
[0184/0325] saving transformer.h.23.ln.bias
                                                         
[0185/0325] saving transformer.h.23.ln.weight
                                                         
[0186/0325] saving transformer.h.23.mixer.Wqkv.bias
                                                         
[0187/0325] saving transformer.h.23.mixer.Wqkv.weight
                                                         
[0188/0325] saving transformer.h.23.mixer.out_proj.bias
                                                         
[0189/0325] saving transformer.h.23.mixer.out_proj.weight
                                                         
[0190/0325] saving transformer.h.23.mlp.fc1.bias
                                                         
[0191/0325] saving transformer.h.23.mlp.fc1.weight
                                                         
[0192/0325] saving transformer.h.23.mlp.fc2.bias
                                                         
[0193/0325] saving transformer.h.23.mlp.fc2.weight
                                                         
[0194/0325] saving transformer.h.24.ln.bias
                                                         
[0195/0325] saving transformer.h.24.ln.weight
                                                         
[0196/0325] saving transformer.h.24.mixer.Wqkv.bias
                                                         
[0197/0325] saving transformer.h.24.mixer.Wqkv.weight
                                                         
[0198/0325] saving transformer.h.24.mixer.out_proj.bias
                                                         
[0199/0325] saving transformer.h.24.mixer.out_proj.weight
                                                         
[0200/0325] saving transformer.h.24.mlp.fc1.bias
                                                         
[0201/0325] saving transformer.h.24.mlp.fc1.weight
                                                         
[0202/0325] saving transformer.h.24.mlp.fc2.bias
                                                         
[0203/0325] saving transformer.h.24.mlp.fc2.weight
                                                         
[0204/0325] saving transformer.h.25.ln.bias
                                                         
[0205/0325] saving transformer.h.25.ln.weight
                                                         
[0206/0325] saving transformer.h.25.mixer.Wqkv.bias
                                                         
[0207/0325] saving transformer.h.25.mixer.Wqkv.weight
                                                         
[0208/0325] saving transformer.h.25.mixer.out_proj.bias
                                                         
[0209/0325] saving transformer.h.25.mixer.out_proj.weight
                                                         
[0210/0325] saving transformer.h.25.mlp.fc1.bias
                                                         
[0211/0325] saving transformer.h.25.mlp.fc1.weight
                                                         
[0212/0325] saving transformer.h.25.mlp.fc2.bias
                                                         
[0213/0325] saving transformer.h.25.mlp.fc2.weight
                                                         
[0214/0325] saving transformer.h.26.ln.bias
                                                         
[0215/0325] saving transformer.h.26.ln.weight
                                                         
[0216/0325] saving transformer.h.26.mixer.Wqkv.bias
                                                         
[0217/0325] saving transformer.h.26.mixer.Wqkv.weight
                                                         
[0218/0325] saving transformer.h.26.mixer.out_proj.bias
                                                         
[0219/0325] saving transformer.h.26.mixer.out_proj.weight
                                                         
[0220/0325] saving transformer.h.26.mlp.fc1.bias
                                                         
[0221/0325] saving transformer.h.26.mlp.fc1.weight
                                                         
[0222/0325] saving transformer.h.26.mlp.fc2.bias
                                                         
[0223/0325] saving transformer.h.26.mlp.fc2.weight
                                                         
[0224/0325] saving transformer.h.27.ln.bias
                                                         
[0225/0325] saving transformer.h.27.ln.weight
                                                         
[0226/0325] saving transformer.h.27.mixer.Wqkv.bias
                                                         
[0227/0325] saving transformer.h.27.mixer.Wqkv.weight
                                                         
[0228/0325] saving transformer.h.27.mixer.out_proj.bias
                                                         
[0229/0325] saving transformer.h.27.mixer.out_proj.weight
                                                         
[0230/0325] saving transformer.h.27.mlp.fc1.bias
                                                         
[0231/0325] saving transformer.h.27.mlp.fc1.weight
                                                         
[0232/0325] saving transformer.h.27.mlp.fc2.bias
                                                         
[0233/0325] saving transformer.h.27.mlp.fc2.weight
                                                         
[0234/0325] saving transformer.h.28.ln.bias
                                                         
[0235/0325] saving transformer.h.28.ln.weight
                                                         
[0236/0325] saving transformer.h.28.mixer.Wqkv.bias
                                                         
[0237/0325] saving transformer.h.28.mixer.Wqkv.weight
                                                         
[0238/0325] saving transformer.h.28.mixer.out_proj.bias
                                                         
[0239/0325] saving transformer.h.28.mixer.out_proj.weight
                                                         
[0240/0325] saving transformer.h.28.mlp.fc1.bias
                                                         
[0241/0325] saving transformer.h.28.mlp.fc1.weight
                                                         
[0242/0325] saving transformer.h.28.mlp.fc2.bias
                                                         
[0243/0325] saving transformer.h.28.mlp.fc2.weight
                                                         
[0244/0325] saving transformer.h.29.ln.bias
                                                         
[0245/0325] saving transformer.h.29.ln.weight
                                                         
[0246/0325] saving transformer.h.29.mixer.Wqkv.bias
                                                         
[0247/0325] saving transformer.h.29.mixer.Wqkv.weight
                                                         
[0248/0325] saving transformer.h.29.mixer.out_proj.bias
                                                         
[0249/0325] saving transformer.h.29.mixer.out_proj.weight
                                                         
[0250/0325] saving transformer.h.29.mlp.fc1.bias
                                                         
[0251/0325] saving transformer.h.29.mlp.fc1.weight
                                                         
[0252/0325] saving transformer.h.29.mlp.fc2.bias
                                                         
[0253/0325] saving transformer.h.29.mlp.fc2.weight
                                                         
[0254/0325] saving transformer.h.3.ln.bias
                                                         
[0255/0325] saving transformer.h.3.ln.weight
                                                         
[0256/0325] saving transformer.h.3.mixer.Wqkv.bias
                                                         
[0257/0325] saving transformer.h.3.mixer.Wqkv.weight
                                                         
[0258/0325] saving transformer.h.3.mixer.out_proj.bias
                                                         
[0259/0325] saving transformer.h.3.mixer.out_proj.weight
                                                         
[0260/0325] saving transformer.h.3.mlp.fc1.bias
                                                         
[0261/0325] saving transformer.h.3.mlp.fc1.weight
                                                         
[0262/0325] saving transformer.h.3.mlp.fc2.bias
                                                         
[0263/0325] saving transformer.h.3.mlp.fc2.weight
                                                         
[0264/0325] saving transformer.h.30.ln.bias
                                                         
[0265/0325] saving transformer.h.30.ln.weight
                                                         
[0266/0325] saving transformer.h.4.ln.bias
                                                         
[0267/0325] saving transformer.h.4.ln.weight
                                                         
[0268/0325] saving transformer.h.4.mixer.Wqkv.bias
                                                         
[0269/0325] saving transformer.h.4.mixer.Wqkv.weight
                                                         
[0270/0325] saving transformer.h.4.mixer.out_proj.bias
                                                         
[0271/0325] saving transformer.h.4.mixer.out_proj.weight
                                                         
[0272/0325] saving transformer.h.4.mlp.fc1.bias
                                                         
[0273/0325] saving transformer.h.4.mlp.fc1.weight
                                                         
[0274/0325] saving transformer.h.4.mlp.fc2.bias
                                                         
[0275/0325] saving transformer.h.4.mlp.fc2.weight
                                                         
[0276/0325] saving transformer.h.5.ln.bias
                                                         
[0277/0325] saving transformer.h.5.ln.weight
                                                         
[0278/0325] saving transformer.h.5.mixer.Wqkv.bias
                                                         
[0279/0325] saving transformer.h.5.mixer.Wqkv.weight
                                                         
[0280/0325] saving transformer.h.5.mixer.out_proj.bias
                                                         
[0281/0325] saving transformer.h.5.mixer.out_proj.weight
                                                         
[0282/0325] saving transformer.h.5.mlp.fc1.bias
                                                         
[0283/0325] saving transformer.h.5.mlp.fc1.weight
                                                         
[0284/0325] saving transformer.h.5.mlp.fc2.bias
                                                         
[0285/0325] saving transformer.h.5.mlp.fc2.weight
                                                         
[0286/0325] saving transformer.h.6.ln.bias
                                                         
[0287/0325] saving transformer.h.6.ln.weight
                                                         
[0288/0325] saving transformer.h.6.mixer.Wqkv.bias
                                                         
[0289/0325] saving transformer.h.6.mixer.Wqkv.weight
                                                         
[0290/0325] saving transformer.h.6.mixer.out_proj.bias
                                                         
[0291/0325] saving transformer.h.6.mixer.out_proj.weight
                                                         
[0292/0325] saving transformer.h.6.mlp.fc1.bias
                                                         
[0293/0325] saving transformer.h.6.mlp.fc1.weight
                                                         
[0294/0325] saving transformer.h.6.mlp.fc2.bias
                                                         
[0295/0325] saving transformer.h.6.mlp.fc2.weight
                                                         
[0296/0325] saving transformer.h.7.ln.bias
                                                         
[0297/0325] saving transformer.h.7.ln.weight
                                                         
[0298/0325] saving transformer.h.7.mixer.Wqkv.bias
                                                         
[0299/0325] saving transformer.h.7.mixer.Wqkv.weight
                                                         
[0300/0325] saving transformer.h.7.mixer.out_proj.bias
                                                         
[0301/0325] saving transformer.h.7.mixer.out_proj.weight[2024-01-19 17:43:51] INFO convert_weight.py:143: Saved to directory: /tmp/tmpuqhwa6i9

                                                         
[0302/0325] saving transformer.h.7.mlp.fc1.bias
                                                         
[0303/0325] saving transformer.h.7.mlp.fc1.weight
                                                         
[0304/0325] saving transformer.h.7.mlp.fc2.bias
                                                         
[0305/0325] saving transformer.h.7.mlp.fc2.weight
                                                         
[0306/0325] saving transformer.h.8.ln.bias
                                                         
[0307/0325] saving transformer.h.8.ln.weight
                                                         
[0308/0325] saving transformer.h.8.mixer.Wqkv.bias
                                                         
[0309/0325] saving transformer.h.8.mixer.Wqkv.weight
                                                         
[0310/0325] saving transformer.h.8.mixer.out_proj.bias
                                                         
[0311/0325] saving transformer.h.8.mixer.out_proj.weight
                                                         
[0312/0325] saving transformer.h.8.mlp.fc1.bias
                                                         
[0313/0325] saving transformer.h.8.mlp.fc1.weight
                                                         
[0314/0325] saving transformer.h.8.mlp.fc2.bias
                                                         
[0315/0325] saving transformer.h.8.mlp.fc2.weight
                                                         
[0316/0325] saving transformer.h.9.ln.bias
                                                         
[0317/0325] saving transformer.h.9.ln.weight
                                                         
[0318/0325] saving transformer.h.9.mixer.Wqkv.bias
                                                         
[0319/0325] saving transformer.h.9.mixer.Wqkv.weight
                                                         
[0320/0325] saving transformer.h.9.mixer.out_proj.bias
                                                         
[0321/0325] saving transformer.h.9.mixer.out_proj.weight
                                                         
[0322/0325] saving transformer.h.9.mlp.fc1.bias
                                                         
[0323/0325] saving transformer.h.9.mlp.fc1.weight
                                                         
[0324/0325] saving transformer.h.9.mlp.fc2.bias
                                                         
[0325/0325] saving transformer.h.9.mlp.fc2.weight
All finished, 114 total shards committed, record saved to /tmp/tmpuqhwa6i9/ndarray-cache.json
Also saved a bf16 record to /tmp/tmpuqhwa6i9/ndarray-cache-b16.json