diff --git "a/logs.txt" "b/logs.txt"
new file mode 100644--- /dev/null
+++ "b/logs.txt"
@@ -0,0 +1,927 @@
+/Users/cfruan/miniconda3/envs/mlc-chat-venv/bin/python -m mlc_chat gen_config /Users/Shared/models/CodeLlama-70b-hf --quantization q4f16_1 --conv-template LM --output /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c --context-window-size 16384
+[2024-01-30 12:13:38] INFO auto_config.py:115: Found model configuration: /Users/Shared/models/CodeLlama-70b-hf/config.json
+[2024-01-30 12:13:38] INFO auto_config.py:153: Found model type: llama. Use `--model-type` to override.
+[2024-01-30 12:13:38] INFO llama_model.py:51: context_window_size not found in config.json. Falling back to max_position_embeddings (16384)
+[2024-01-30 12:13:38] INFO llama_model.py:71: prefill_chunk_size defaults to context_window_size (16384)
+[2024-01-30 12:13:38] INFO config.py:106: Overriding context_window_size from 16384 to 16384
+[2024-01-30 12:13:38] INFO config.py:106: Overriding max_batch_size from 1 to 80
+[2024-01-30 12:13:38] INFO gen_config.py:116: [generation_config.json] Setting bos_token_id: 1
+[2024-01-30 12:13:38] INFO gen_config.py:116: [generation_config.json] Setting eos_token_id: 2
+[2024-01-30 12:13:38] INFO gen_config.py:128: Found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/tokenizer.model. Copying to /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c/tokenizer.model
+[2024-01-30 12:13:38] INFO gen_config.py:128: Found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/tokenizer.json. Copying to /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c/tokenizer.json
+[2024-01-30 12:13:38] INFO gen_config.py:130: Not found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/vocab.json
+[2024-01-30 12:13:38] INFO gen_config.py:130: Not found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/merges.txt
+[2024-01-30 12:13:38] INFO gen_config.py:130: Not found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/added_tokens.json
+[2024-01-30 12:13:38] INFO gen_config.py:128: Found tokenizer config: /Users/Shared/models/CodeLlama-70b-hf/tokenizer_config.json. Copying to /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c/tokenizer_config.json
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting pad_token_id: 0
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting temperature: 0.7
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting repetition_penalty: 1.0
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting top_p: 0.95
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting mean_gen_len: 128
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting max_gen_len: 512
+[2024-01-30 12:13:38] INFO gen_config.py:69: [System default] Setting shift_fill_factor: 0.3
+[2024-01-30 12:13:38] INFO gen_config.py:158: Dumping configuration file to: /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c/mlc-chat-config.json
+/Users/cfruan/miniconda3/envs/mlc-chat-venv/bin/python -m mlc_chat convert_weight /Users/Shared/models/CodeLlama-70b-hf --quantization q4f16_1 --source-format auto --output /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c
+[2024-01-30 12:13:38] INFO auto_config.py:115: Found model configuration: /Users/Shared/models/CodeLlama-70b-hf/config.json
+[2024-01-30 12:13:39] INFO auto_device.py:85: Not found device: cuda:0
+[2024-01-30 12:13:39] INFO auto_device.py:85: Not found device: rocm:0
+[2024-01-30 12:13:39] INFO auto_device.py:76: Found device: metal:0
+[2024-01-30 12:13:40] INFO auto_device.py:85: Not found device: vulkan:0
+[2024-01-30 12:13:40] INFO auto_device.py:85: Not found device: opencl:0
+[2024-01-30 12:13:40] INFO auto_device.py:33: Using device: metal:0
+[2024-01-30 12:13:40] INFO auto_weight.py:70: Finding weights in: /Users/Shared/models/CodeLlama-70b-hf
+[2024-01-30 12:13:40] INFO auto_weight.py:120: Found source weight format: huggingface-torch. Source configuration: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model.bin.index.json
+[2024-01-30 12:13:40] INFO auto_weight.py:143: Found source weight format: huggingface-safetensor. Source configuration: /Users/Shared/models/CodeLlama-70b-hf/model.safetensors.index.json
+[2024-01-30 12:13:40] INFO auto_weight.py:106: Using source weight configuration: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model.bin.index.json. Use `--source` to override.
+[2024-01-30 12:13:40] INFO auto_weight.py:110: Using source weight format: huggingface-torch. Use `--source-format` to override.
+[2024-01-30 12:13:40] INFO auto_config.py:153: Found model type: llama. Use `--model-type` to override.
+[2024-01-30 12:13:40] INFO llama_model.py:51: context_window_size not found in config.json. Falling back to max_position_embeddings (16384)
+[2024-01-30 12:13:40] INFO llama_model.py:71: prefill_chunk_size defaults to context_window_size (16384)
+Weight conversion with arguments:
+  --config          /Users/Shared/models/CodeLlama-70b-hf/config.json
+  --quantization    GroupQuantize(name='q4f16_1', kind='group-quant', group_size=32, quantize_dtype='int4', storage_dtype='uint32', model_dtype='float16', linear_weight_layout='NK', num_elem_per_storage=8, num_storage_per_group=4, max_int_value=7)
+  --model-type      llama
+  --device          metal:0
+  --source          /Users/Shared/models/CodeLlama-70b-hf/pytorch_model.bin.index.json
+  --source-format   huggingface-torch
+  --output          /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c
+
  0%|                                                                                                                                                                                                                             | 0/483 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:49] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00029-of-00029.bin
+
  0%|                                                                                                                                                                                                                             | 0/483 [00:00<?, ?it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:51] INFO group_quantization.py:227: Compiling quantize function for key: ((32016, 8192), float16, metal, axis=1, output_transpose=False)
+
  0%|                                                                                                                                                                                                                             | 0/483 [00:02<?, ?it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_weight", shape: (32016, 1024), dtype: uint32
+
  0%|                                                                                                                                                                                                                             | 0/483 [00:02<?, ?it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "lm_head.q_scale", shape: (32016, 256), dtype: float16
+
  0%|                                                                                                                                                                                                                             | 0/483 [00:02<?, ?it/s]
  0%|▍                                                                                                                                                                                                                    | 1/483 [00:02<22:35,  2.81s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.78.input_layernorm.weight", shape: (8192,), dtype: float16
+
  0%|▍                                                                                                                                                                                                                    | 1/483 [00:02<22:35,  2.81s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:52] INFO group_quantization.py:227: Compiling quantize function for key: ((8192, 28672), float16, metal, axis=1, output_transpose=False)
+
  0%|▍                                                                                                                                                                                                                    | 1/483 [00:03<22:35,  2.81s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  0%|▍                                                                                                                                                                                                                    | 1/483 [00:03<22:35,  2.81s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  0%|▍                                                                                                                                                                                                                    | 1/483 [00:03<22:35,  2.81s/it]
  1%|█▎                                                                                                                                                                                                                   | 3/483 [00:03<07:57,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO group_quantization.py:227: Compiling quantize function for key: ((57344, 8192), float16, metal, axis=1, output_transpose=False)
+
  1%|█▎                                                                                                                                                                                                                   | 3/483 [00:05<07:57,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  1%|█▎                                                                                                                                                                                                                   | 3/483 [00:05<07:57,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  1%|█▎                                                                                                                                                                                                                   | 3/483 [00:05<07:57,  1.01it/s]
  1%|█▊                                                                                                                                                                                                                   | 4/483 [00:05<09:51,  1.24s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.78.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  1%|█▊                                                                                                                                                                                                                   | 4/483 [00:05<09:51,  1.24s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO group_quantization.py:227: Compiling quantize function for key: ((8192, 8192), float16, metal, axis=1, output_transpose=False)
+
  1%|█▊                                                                                                                                                                                                                   | 4/483 [00:05<09:51,  1.24s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  1%|█▊                                                                                                                                                                                                                   | 4/483 [00:05<09:51,  1.24s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  1%|█▊                                                                                                                                                                                                                   | 4/483 [00:05<09:51,  1.24s/it]
  1%|██▋                                                                                                                                                                                                                  | 6/483 [00:05<05:26,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.79.input_layernorm.weight", shape: (8192,), dtype: float16
+
  1%|██▋                                                                                                                                                                                                                  | 6/483 [00:05<05:26,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  1%|██▋                                                                                                                                                                                                                  | 6/483 [00:06<05:26,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  1%|██▋                                                                                                                                                                                                                  | 6/483 [00:06<05:26,  1.46it/s]
  2%|███▌                                                                                                                                                                                                                 | 8/483 [00:06<04:17,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  2%|███▌                                                                                                                                                                                                                 | 8/483 [00:07<04:17,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  2%|███▌                                                                                                                                                                                                                 | 8/483 [00:07<04:17,  1.84it/s]
  2%|███▉                                                                                                                                                                                                                 | 9/483 [00:07<06:16,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.79.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  2%|███▉                                                                                                                                                                                                                 | 9/483 [00:07<06:16,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO group_quantization.py:227: Compiling quantize function for key: ((10240, 8192), float16, metal, axis=1, output_transpose=False)
+
  2%|███▉                                                                                                                                                                                                                 | 9/483 [00:08<06:16,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  2%|███▉                                                                                                                                                                                                                 | 9/483 [00:08<06:16,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  2%|███▉                                                                                                                                                                                                                 | 9/483 [00:08<06:16,  1.26it/s]
  2%|████▊                                                                                                                                                                                                               | 11/483 [00:08<04:18,  1.83it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  2%|████▊                                                                                                                                                                                                               | 11/483 [00:08<04:18,  1.83it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.79.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  2%|████▊                                                                                                                                                                                                               | 11/483 [00:08<04:18,  1.83it/s]
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:08<03:40,  2.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.norm.weight", shape: (8192,), dtype: float16
+
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:08<03:40,  2.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00029-of-00029.bin
+
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:08<03:40,  2.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:57] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00001-of-00029.bin
+
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:08<03:40,  2.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_weight", shape: (32016, 1024), dtype: uint32
+
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:10<03:40,  2.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.embed_tokens.q_scale", shape: (32016, 256), dtype: float16
+
  2%|█████▎                                                                                                                                                                                                              | 12/483 [00:10<03:40,  2.14it/s]
  3%|██████▏                                                                                                                                                                                                             | 14/483 [00:10<05:41,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:13:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.input_layernorm.weight", shape: (8192,), dtype: float16
+
  3%|██████▏                                                                                                                                                                                                             | 14/483 [00:10<05:41,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  3%|██████▏                                                                                                                                                                                                             | 14/483 [00:11<05:41,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  3%|██████▏                                                                                                                                                                                                             | 14/483 [00:11<05:41,  1.37it/s]
  3%|███████                                                                                                                                                                                                             | 16/483 [00:11<04:32,  1.71it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  3%|███████                                                                                                                                                                                                             | 16/483 [00:12<04:32,  1.71it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  3%|███████                                                                                                                                                                                                             | 16/483 [00:12<04:32,  1.71it/s]
  4%|███████▍                                                                                                                                                                                                            | 17/483 [00:12<06:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.0.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  4%|███████▍                                                                                                                                                                                                            | 17/483 [00:12<06:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  4%|███████▍                                                                                                                                                                                                            | 17/483 [00:13<06:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  4%|███████▍                                                                                                                                                                                                            | 17/483 [00:13<06:07,  1.27it/s]
  4%|████████▎                                                                                                                                                                                                           | 19/483 [00:13<04:15,  1.81it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  4%|████████▎                                                                                                                                                                                                           | 19/483 [00:13<04:15,  1.81it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.0.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  4%|████████▎                                                                                                                                                                                                           | 19/483 [00:13<04:15,  1.81it/s]
  4%|████████▊                                                                                                                                                                                                           | 20/483 [00:13<03:40,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.input_layernorm.weight", shape: (8192,), dtype: float16
+
  4%|████████▊                                                                                                                                                                                                           | 20/483 [00:13<03:40,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  4%|████████▊                                                                                                                                                                                                           | 20/483 [00:13<03:40,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  4%|████████▊                                                                                                                                                                                                           | 20/483 [00:13<03:40,  2.10it/s]
  5%|█████████▋                                                                                                                                                                                                          | 22/483 [00:13<03:13,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  5%|█████████▋                                                                                                                                                                                                          | 22/483 [00:15<03:13,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  5%|█████████▋                                                                                                                                                                                                          | 22/483 [00:15<03:13,  2.38it/s]
  5%|██████████                                                                                                                                                                                                          | 23/483 [00:15<05:10,  1.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.1.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  5%|██████████                                                                                                                                                                                                          | 23/483 [00:15<05:10,  1.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  5%|██████████                                                                                                                                                                                                          | 23/483 [00:15<05:10,  1.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  5%|██████████                                                                                                                                                                                                          | 23/483 [00:15<05:10,  1.48it/s]
  5%|██████████▉                                                                                                                                                                                                         | 25/483 [00:15<03:36,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  5%|██████████▉                                                                                                                                                                                                         | 25/483 [00:16<03:36,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.1.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  5%|██████████▉                                                                                                                                                                                                         | 25/483 [00:16<03:36,  2.11it/s]
  5%|███████████▍                                                                                                                                                                                                        | 26/483 [00:16<03:08,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:05] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00002-of-00029.bin
+
  5%|███████████▍                                                                                                                                                                                                        | 26/483 [00:16<03:08,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  5%|███████████▍                                                                                                                                                                                                        | 26/483 [00:19<03:08,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  5%|███████████▍                                                                                                                                                                                                        | 26/483 [00:19<03:08,  2.42it/s]
  6%|███████████▊                                                                                                                                                                                                        | 27/483 [00:19<07:59,  1.05s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  6%|███████████▊                                                                                                                                                                                                        | 27/483 [00:19<07:59,  1.05s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  6%|███████████▊                                                                                                                                                                                                        | 27/483 [00:19<07:59,  1.05s/it]
  6%|████████████▎                                                                                                                                                                                                       | 28/483 [00:19<06:32,  1.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  6%|████████████▎                                                                                                                                                                                                       | 28/483 [00:19<06:32,  1.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  6%|████████████▎                                                                                                                                                                                                       | 28/483 [00:19<06:32,  1.16it/s]
  6%|████████████▋                                                                                                                                                                                                       | 29/483 [00:19<05:13,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00002-of-00029.bin
+
  6%|████████████▋                                                                                                                                                                                                       | 29/483 [00:19<05:13,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:08] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00001-of-00029.bin
+
  6%|████████████▋                                                                                                                                                                                                       | 29/483 [00:19<05:13,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:09] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00004-of-00029.bin
+
  6%|████████████▋                                                                                                                                                                                                       | 29/483 [00:19<05:13,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.input_layernorm.weight", shape: (8192,), dtype: float16
+
  6%|████████████▋                                                                                                                                                                                                       | 29/483 [00:21<05:13,  1.45it/s]
  6%|█████████████▏                                                                                                                                                                                                      | 30/483 [00:21<07:22,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  6%|█████████████▏                                                                                                                                                                                                      | 30/483 [00:22<07:22,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  6%|█████████████▏                                                                                                                                                                                                      | 30/483 [00:22<07:22,  1.02it/s]
  6%|█████████████▌                                                                                                                                                                                                      | 31/483 [00:22<06:39,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  6%|█████████████▌                                                                                                                                                                                                      | 31/483 [00:23<06:39,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  6%|█████████████▌                                                                                                                                                                                                      | 31/483 [00:23<06:39,  1.13it/s]
  7%|██████████████                                                                                                                                                                                                      | 32/483 [00:23<07:56,  1.06s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.10.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  7%|██████████████                                                                                                                                                                                                      | 32/483 [00:23<07:56,  1.06s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  7%|██████████████                                                                                                                                                                                                      | 32/483 [00:23<07:56,  1.06s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  7%|██████████████                                                                                                                                                                                                      | 32/483 [00:23<07:56,  1.06s/it]
  7%|██████████████▉                                                                                                                                                                                                     | 34/483 [00:23<04:48,  1.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  7%|██████████████▉                                                                                                                                                                                                     | 34/483 [00:24<04:48,  1.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.10.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  7%|██████████████▉                                                                                                                                                                                                     | 34/483 [00:24<04:48,  1.55it/s]
  7%|███████████████▎                                                                                                                                                                                                    | 35/483 [00:24<03:58,  1.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:13] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.input_layernorm.weight", shape: (8192,), dtype: float16
+
  7%|███████████████▎                                                                                                                                                                                                    | 35/483 [00:24<03:58,  1.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  7%|███████████████▎                                                                                                                                                                                                    | 35/483 [00:24<03:58,  1.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  7%|███████████████▎                                                                                                                                                                                                    | 35/483 [00:24<03:58,  1.88it/s]
  8%|████████████████▏                                                                                                                                                                                                   | 37/483 [00:24<03:18,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  8%|████████████████▏                                                                                                                                                                                                   | 37/483 [00:26<03:18,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  8%|████████████████▏                                                                                                                                                                                                   | 37/483 [00:26<03:18,  2.25it/s]
  8%|████████████████▋                                                                                                                                                                                                   | 38/483 [00:26<05:03,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.8.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  8%|████████████████▋                                                                                                                                                                                                   | 38/483 [00:26<05:03,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  8%|████████████████▋                                                                                                                                                                                                   | 38/483 [00:26<05:03,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  8%|████████████████▋                                                                                                                                                                                                   | 38/483 [00:26<05:03,  1.47it/s]
  8%|█████████████████▌                                                                                                                                                                                                  | 40/483 [00:26<03:22,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:15] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.input_layernorm.weight", shape: (8192,), dtype: float16
+
  8%|█████████████████▌                                                                                                                                                                                                  | 40/483 [00:26<03:22,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
  8%|█████████████████▌                                                                                                                                                                                                  | 40/483 [00:27<03:22,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:16] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
  8%|█████████████████▌                                                                                                                                                                                                  | 40/483 [00:27<03:22,  2.19it/s]
  9%|██████████████████▍                                                                                                                                                                                                 | 42/483 [00:27<02:59,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
  9%|██████████████████▍                                                                                                                                                                                                 | 42/483 [00:28<02:59,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
  9%|██████████████████▍                                                                                                                                                                                                 | 42/483 [00:28<02:59,  2.46it/s]
  9%|██████████████████▊                                                                                                                                                                                                 | 43/483 [00:28<04:36,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.9.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
  9%|██████████████████▊                                                                                                                                                                                                 | 43/483 [00:28<04:36,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
  9%|██████████████████▊                                                                                                                                                                                                 | 43/483 [00:28<04:36,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
  9%|██████████████████▊                                                                                                                                                                                                 | 43/483 [00:28<04:36,  1.59it/s]
  9%|███████████████████▊                                                                                                                                                                                                | 45/483 [00:28<03:16,  2.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
  9%|███████████████████▊                                                                                                                                                                                                | 45/483 [00:29<03:16,  2.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.9.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
  9%|███████████████████▊                                                                                                                                                                                                | 45/483 [00:29<03:16,  2.23it/s]
 10%|████████████████████▏                                                                                                                                                                                               | 46/483 [00:29<02:51,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:18] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00004-of-00029.bin
+
 10%|████████████████████▏                                                                                                                                                                                               | 46/483 [00:29<02:51,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:18] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00005-of-00029.bin
+
 10%|████████████████████▏                                                                                                                                                                                               | 46/483 [00:29<02:51,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.input_layernorm.weight", shape: (8192,), dtype: float16
+
 10%|████████████████████▏                                                                                                                                                                                               | 46/483 [00:30<02:51,  2.54it/s]
 10%|████████████████████▋                                                                                                                                                                                               | 47/483 [00:30<04:49,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 10%|████████████████████▋                                                                                                                                                                                               | 47/483 [00:31<04:49,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:20] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 10%|████████████████████▋                                                                                                                                                                                               | 47/483 [00:31<04:49,  1.51it/s]
 10%|█████████████████████                                                                                                                                                                                               | 48/483 [00:31<04:46,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 10%|█████████████████████                                                                                                                                                                                               | 48/483 [00:32<04:46,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 10%|█████████████████████                                                                                                                                                                                               | 48/483 [00:32<04:46,  1.52it/s]
 10%|█████████████████████▌                                                                                                                                                                                              | 49/483 [00:32<06:19,  1.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.11.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 10%|█████████████████████▌                                                                                                                                                                                              | 49/483 [00:32<06:19,  1.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 10%|█████████████████████▌                                                                                                                                                                                              | 49/483 [00:32<06:19,  1.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 10%|█████████████████████▌                                                                                                                                                                                              | 49/483 [00:32<06:19,  1.14it/s]
 11%|██████████████████████▍                                                                                                                                                                                             | 51/483 [00:32<04:02,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 11%|██████████████████████▍                                                                                                                                                                                             | 51/483 [00:33<04:02,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.11.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 11%|██████████████████████▍                                                                                                                                                                                             | 51/483 [00:33<04:02,  1.79it/s]
 11%|██████████████████████▊                                                                                                                                                                                             | 52/483 [00:33<03:24,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.input_layernorm.weight", shape: (8192,), dtype: float16
+
 11%|██████████████████████▊                                                                                                                                                                                             | 52/483 [00:33<03:24,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 11%|██████████████████████▊                                                                                                                                                                                             | 52/483 [00:33<03:24,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 11%|██████████████████████▊                                                                                                                                                                                             | 52/483 [00:33<03:24,  2.11it/s]
 11%|███████████████████████▋                                                                                                                                                                                            | 54/483 [00:33<02:56,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 11%|███████████████████████▋                                                                                                                                                                                            | 54/483 [00:35<02:56,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 11%|███████████████████████▋                                                                                                                                                                                            | 54/483 [00:35<02:56,  2.43it/s]
 11%|████████████████████████▏                                                                                                                                                                                           | 55/483 [00:35<04:38,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.12.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 11%|████████████████████████▏                                                                                                                                                                                           | 55/483 [00:35<04:38,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 11%|████████████████████████▏                                                                                                                                                                                           | 55/483 [00:35<04:38,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 11%|████████████████████████▏                                                                                                                                                                                           | 55/483 [00:35<04:38,  1.54it/s]
 12%|█████████████████████████                                                                                                                                                                                           | 57/483 [00:35<03:12,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 12%|█████████████████████████                                                                                                                                                                                           | 57/483 [00:35<03:12,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.12.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 12%|█████████████████████████                                                                                                                                                                                           | 57/483 [00:35<03:12,  2.22it/s]
 12%|█████████████████████████▍                                                                                                                                                                                          | 58/483 [00:35<02:47,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 12%|█████████████████████████▍                                                                                                                                                                                          | 58/483 [00:37<02:47,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 12%|█████████████████████████▍                                                                                                                                                                                          | 58/483 [00:37<02:47,  2.54it/s]
 12%|█████████████████████████▉                                                                                                                                                                                          | 59/483 [00:37<04:36,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 12%|█████████████████████████▉                                                                                                                                                                                          | 59/483 [00:37<04:36,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 12%|█████████████████████████▉                                                                                                                                                                                          | 59/483 [00:37<04:36,  1.53it/s]
 12%|██████████████████████████▎                                                                                                                                                                                         | 60/483 [00:37<03:55,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 12%|██████████████████████████▎                                                                                                                                                                                         | 60/483 [00:37<03:55,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 12%|██████████████████████████▎                                                                                                                                                                                         | 60/483 [00:37<03:55,  1.79it/s]
 13%|██████████████████████████▊                                                                                                                                                                                         | 61/483 [00:37<03:13,  2.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00005-of-00029.bin
+
 13%|██████████████████████████▊                                                                                                                                                                                         | 61/483 [00:37<03:13,  2.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:26] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00006-of-00029.bin
+
 13%|██████████████████████████▊                                                                                                                                                                                         | 61/483 [00:37<03:13,  2.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.input_layernorm.weight", shape: (8192,), dtype: float16
+
 13%|██████████████████████████▊                                                                                                                                                                                         | 61/483 [00:39<03:13,  2.18it/s]
 13%|███████████████████████████▏                                                                                                                                                                                        | 62/483 [00:39<05:15,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 13%|█████████���█████████████████▏                                                                                                                                                                                        | 62/483 [00:39<05:15,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.13.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 13%|███████████████████████████▏                                                                                                                                                                                        | 62/483 [00:39<05:15,  1.33it/s]
 13%|███████████████████████████▋                                                                                                                                                                                        | 63/483 [00:39<05:02,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.13.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 13%|███████████████████████████▋                                                                                                                                                                                        | 63/483 [00:39<05:02,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:28] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.input_layernorm.weight", shape: (8192,), dtype: float16
+
 13%|███████████████████████████▋                                                                                                                                                                                        | 63/483 [00:39<05:02,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 13%|███████████████████████████▋                                                                                                                                                                                        | 63/483 [00:40<05:02,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 13%|███████████████████████████▋                                                                                                                                                                                        | 63/483 [00:40<05:02,  1.39it/s]
 14%|████████████████████████████▉                                                                                                                                                                                       | 66/483 [00:40<03:04,  2.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 14%|████████████████████████████▉                                                                                                                                                                                       | 66/483 [00:41<03:04,  2.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 14%|████████████████████████████▉                                                                                                                                                                                       | 66/483 [00:42<03:04,  2.26it/s]
 14%|█████████████████████████████▍                                                                                                                                                                                      | 67/483 [00:42<04:34,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.14.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 14%|█████████████████████████████▍                                                                                                                                                                                      | 67/483 [00:42<04:34,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 14%|█████████████████████████████▍                                                                                                                                                                                      | 67/483 [00:42<04:34,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 14%|█████████████████████████████▍                                                                                                                                                                                      | 67/483 [00:42<04:34,  1.52it/s]
 14%|██████████████████████████████▎                                                                                                                                                                                     | 69/483 [00:42<03:12,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 14%|██████████████████████████████▎                                                                                                                                                                                     | 69/483 [00:42<03:12,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.14.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 14%|██████████████████████████████▎                                                                                                                                                                                     | 69/483 [00:42<03:12,  2.15it/s]
 14%|██████████████████████████████▋                                                                                                                                                                                     | 70/483 [00:42<02:48,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.input_layernorm.weight", shape: (8192,), dtype: float16
+
 14%|██████████████████████████████▋                                                                                                                                                                                     | 70/483 [00:42<02:48,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 14%|██████████████████████████████▋                                                                                                                                                                                     | 70/483 [00:43<02:48,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 14%|██████████████████████████████▋                                                                                                                                                                                     | 70/483 [00:43<02:48,  2.46it/s]
 15%|███████████████████████████████▌                                                                                                                                                                                    | 72/483 [00:43<02:33,  2.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 15%|███████████████████████████████▌                                                                                                                                                                                    | 72/483 [00:44<02:33,  2.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 15%|███████████████████████████████▌                                                                                                                                                                                    | 72/483 [00:44<02:33,  2.68it/s]
 15%|████████████████████████████████                                                                                                                                                                                    | 73/483 [00:44<04:08,  1.65it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.15.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 15%|████████████████████████████████                                                                                                                                                                                    | 73/483 [00:44<04:08,  1.65it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 15%|████████████████████████████████                                                                                                                                                                                    | 73/483 [00:44<04:08,  1.65it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 15%|████████████████████████████████                                                                                                                                                                                    | 73/483 [00:44<04:08,  1.65it/s]
 16%|████████████████████████████████▉                                                                                                                                                                                   | 75/483 [00:44<02:55,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 16%|████████████████████████████████▉                                                                                                                                                                                   | 75/483 [00:45<02:55,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.15.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 16%|████████████████████████████████▉                                                                                                                                                                                   | 75/483 [00:45<02:55,  2.33it/s]
 16%|█████████████████████████████████▎                                                                                                                                                                                  | 76/483 [00:45<02:34,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:34] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00007-of-00029.bin
+
 16%|█████████████████████████████████▎                                                                                                                                                                                  | 76/483 [00:45<02:34,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 16%|█████████████████████████████████▎                                                                                                                                                                                  | 76/483 [00:48<02:34,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 16%|█████████████████████████████████▎                                                                                                                                                                                  | 76/483 [00:48<02:34,  2.64it/s]
 16%|█████████████████████████████████▊                                                                                                                                                                                  | 77/483 [00:48<06:59,  1.03s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 16%|█████████████████████████████████▊                                                                                                                                                                                  | 77/483 [00:48<06:59,  1.03s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 16%|█████████████████████████████████▊                                                                                                                                                                                  | 77/483 [00:48<06:59,  1.03s/it]
 16%|██████████████████████████████████▏                                                                                                                                                                                 | 78/483 [00:48<05:42,  1.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 16%|██████████████████████████████████▏                                                                                                                                                                                 | 78/483 [00:48<05:42,  1.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 16%|██████████████████████████████████▏                                                                                                                                                                                 | 78/483 [00:48<05:42,  1.18it/s]
 16%|██████████████████████████████████▋                                                                                                                                                                                 | 79/483 [00:48<04:32,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.input_layernorm.weight", shape: (8192,), dtype: float16
+
 16%|██████████████████████████████████▋                                                                                                                                                                                 | 79/483 [00:48<04:32,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 16%|██████████████████████████████████▋                                                                                                                                                                                 | 79/483 [00:49<04:32,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.16.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 16%|██████████████████████████████████▋                                                                                                                                                                                 | 79/483 [00:49<04:32,  1.49it/s]
 17%|███████████████████████████████████▌                                                                                                                                                                                | 81/483 [00:49<03:29,  1.92it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.16.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 17%|███████████████████████████████████▌                                                                                                                                                                                | 81/483 [00:49<03:29,  1.92it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.input_layernorm.weight", shape: (8192,), dtype: float16
+
 17%|███████████████████████████████████▌                                                                                                                                                                                | 81/483 [00:49<03:29,  1.92it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 17%|███████████████████████████████████▌                                                                                                                                                                                | 81/483 [00:49<03:29,  1.92it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 17%|███████████████████████████████████▌                                                                                                                                                                                | 81/483 [00:49<03:29,  1.92it/s]
 17%|████████████████████████████████████▊                                                                                                                                                                               | 84/483 [00:49<02:28,  2.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 17%|████████████████████████████████████▊                                                                                                                                                                               | 84/483 [00:51<02:28,  2.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 17%|████████████████████████████████████▊                                                                                                                                                                               | 84/483 [00:51<02:28,  2.68it/s]
 18%|█████████████████████████████████████▎                                                                                                                                                                              | 85/483 [00:51<04:00,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.17.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 18%|█████████████████████████████████████▎                                                                                                                                                                              | 85/483 [00:51<04:00,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 18%|█████████████████████████████████████▎                                                                                                                                                                              | 85/483 [00:51<04:00,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 18%|█████████████████████████████████████▎                                                                                                                                                                              | 85/483 [00:51<04:00,  1.66it/s]
 18%|██████████████████████████████████████▏                                                                                                                                                                             | 87/483 [00:51<02:54,  2.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 18%|██████████████████████████████████████▏                                                                                                                                                                             | 87/483 [00:52<02:54,  2.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.17.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 18%|██████████████████████████████████████▏                                                                                                                                                                             | 87/483 [00:52<02:54,  2.27it/s]
 18%|██████████████████████████████████████▋                                                                                                                                                                             | 88/483 [00:52<02:34,  2.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.input_layernorm.weight", shape: (8192,), dtype: float16
+
 18%|██████████████████████████████████████▋                                                                                                                                                                             | 88/483 [00:52<02:34,  2.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 18%|██████████████████████████████████████▋                                                                                                                                                                             | 88/483 [00:52<02:34,  2.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 18%|██████████████████████████████████████▋                                                                                                                                                                             | 88/483 [00:52<02:34,  2.56it/s]
 19%|███████████████████████████████████████▌                                                                                                                                                                            | 90/483 [00:52<02:23,  2.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 19%|███████████████████████████████████████▌                                                                                                                                                                            | 90/483 [00:54<02:23,  2.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 19%|███████████████████████████████████████▌                                                                                                                                                                            | 90/483 [00:54<02:23,  2.74it/s]
 19%|███████████████████████████████████████▉                                                                                                                                                                            | 91/483 [00:54<04:05,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.18.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 19%|███████████████████████████████████████▉                                                                                                                                                                            | 91/483 [00:54<04:05,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 19%|███████████████████████████████████████▉                                                                                                                                                                            | 91/483 [00:54<04:05,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 19%|███████████████████████████████████████▉                                                                                                                                                                            | 91/483 [00:54<04:05,  1.59it/s]
 19%|████████████████████████████████████████▊                                                                                                                                                                           | 93/483 [00:54<02:53,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 19%|████████████████████████████████████████▊                                                                                                                                                                           | 93/483 [00:54<02:53,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.18.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 19%|████████████████████████████████████████▊                                                                                                                                                                           | 93/483 [00:54<02:53,  2.25it/s]
 19%|█████████████████████████████████████████▎                                                                                                                                                                          | 94/483 [00:54<02:32,  2.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 19%|█████████████████████████████████████████▎                                                                                                                                                                          | 94/483 [00:55<02:32,  2.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 19%|█████████████████████████████████████████▎                                                                                                                                                                          | 94/483 [00:55<02:32,  2.55it/s]
 20%|█████████████████████████████████████████▋                                                                                                                                                                          | 95/483 [00:55<02:23,  2.71it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 20%|█████████████████████████████████████████▋                                                                                                                                                                          | 95/483 [00:55<02:23,  2.71it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 20%|█████████████████████████████████████████▋                                                                                                                                                                          | 95/483 [00:55<02:23,  2.71it/s]
 20%|██████████████████████████████████████████▏                                                                                                                                                                         | 96/483 [00:55<02:06,  3.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00007-of-00029.bin
+
 20%|██████████████████████████████████████████▏                                                                                                                                                                         | 96/483 [00:55<02:06,  3.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00006-of-00029.bin
+
 20%|██████████████████████████████████████████▏                                                                                                                                                                         | 96/483 [00:55<02:06,  3.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:44] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00008-of-00029.bin
+
 20%|██████████████████████████████████████████▏                                                                                                                                                                         | 96/483 [00:55<02:06,  3.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.input_layernorm.weight", shape: (8192,), dtype: float16
+
 20%|██████████████████████████████████████████▏                                                                                                                                                                         | 96/483 [00:57<02:06,  3.05it/s]
 20%|██████████████████████████████████████████▌                                                                                                                                                                         | 97/483 [00:57<04:30,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 20%|██████████████████████████████████████████▌                                                                                                                                                                         | 97/483 [00:57<04:30,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 20%|██████████████████████████████████████████▌                                                                                                                                                                         | 97/483 [00:57<04:30,  1.43it/s]
 20%|███████████████████████████████████████████                                                                                                                                                                         | 98/483 [00:57<04:24,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 20%|███████████████████████████████████████████                                                                                                                                                                         | 98/483 [00:59<04:24,  1.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.19.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 20%|███████████████████████████████████████████                                                                                                                                                                         | 98/483 [00:59<04:24,  1.45it/s]
 20%|███████████████████████████████████████████▍                                                                                                                                                                        | 99/483 [00:59<05:50,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.19.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 20%|███████████████████████████████████████████▍                                                                                                                                                                        | 99/483 [00:59<05:50,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.input_layernorm.weight", shape: (8192,), dtype: float16
+
 20%|███████████████████████████████████████████▍                                                                                                                                                                        | 99/483 [00:59<05:50,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 20%|███████████████████████████████████████████▍                                                                                                                                                                        | 99/483 [00:59<05:50,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 20%|███████████████████████████████████████████▍                                                                                                                                                                        | 99/483 [00:59<05:50,  1.10it/s]
 21%|████████████████████████████████████████████▌                                                                                                                                                                      | 102/483 [00:59<03:23,  1.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 21%|████████████████████████████████████████████▌                                                                                                                                                                      | 102/483 [01:01<03:23,  1.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 21%|████████████████████████████���███████████████▌                                                                                                                                                                      | 102/483 [01:01<03:23,  1.87it/s]
 21%|████████████████████████████████████████████▉                                                                                                                                                                      | 103/483 [01:01<04:38,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.20.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 21%|████████████████████████████████████████████▉                                                                                                                                                                      | 103/483 [01:01<04:38,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 21%|████████████████████████████████████████████▉                                                                                                                                                                      | 103/483 [01:01<04:38,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 21%|████████████████████████████████████████████▉                                                                                                                                                                      | 103/483 [01:01<04:38,  1.36it/s]
 22%|█████████████████████████████████████████████▊                                                                                                                                                                     | 105/483 [01:01<03:13,  1.95it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 22%|█████████████████████████████████████████████▊                                                                                                                                                                     | 105/483 [01:01<03:13,  1.95it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.20.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 22%|█████████████████████████████████████████████▊                                                                                                                                                                     | 105/483 [01:01<03:13,  1.95it/s]
 22%|██████████████████████████████████████████████▎                                                                                                                                                                    | 106/483 [01:01<02:47,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.input_layernorm.weight", shape: (8192,), dtype: float16
+
 22%|██████████████████████████████████████████████▎                                                                                                                                                                    | 106/483 [01:01<02:47,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 22%|██████████████████████████████████████████████▎                                                                                                                                                                    | 106/483 [01:02<02:47,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 22%|██████████████████████████████████████████████▎                                                                                                                                                                    | 106/483 [01:02<02:47,  2.25it/s]
 22%|███████████████████████████████████████████████▏                                                                                                                                                                   | 108/483 [01:02<02:28,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 22%|███████████████████████████████████████████████▏                                                                                                                                                                   | 108/483 [01:03<02:28,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 22%|███████████████████████████████████████████████▏                                                                                                                                                                   | 108/483 [01:03<02:28,  2.52it/s]
 23%|███████████████████████████████████████████████▌                                                                                                                                                                   | 109/483 [01:03<03:54,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.21.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 23%|███████████████████████████████████████████████▌                                                                                                                                                                   | 109/483 [01:03<03:54,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 23%|███████████████████████████████████████████████▌                                                                                                                                                                   | 109/483 [01:04<03:54,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 23%|███████████████████████████████████████████████▌                                                                                                                                                                   | 109/483 [01:04<03:54,  1.59it/s]
 23%|████████████████████████████████████████████████▍                                                                                                                                                                  | 111/483 [01:04<02:44,  2.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 23%|████████████████████████████████████████████████▍                                                                                                                                                                  | 111/483 [01:04<02:44,  2.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.21.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 23%|████████████████████████████████████████████████▍                                                                                                                                                                  | 111/483 [01:04<02:44,  2.26it/s]
 23%|████████████████████████████████████████████████▉                                                                                                                                                                  | 112/483 [01:04<02:24,  2.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 23%|████████████████████████████████████████████████▉                                                                                                                                                                  | 112/483 [01:04<02:24,  2.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 23%|███████████��████████████████████████████████████▉                                                                                                                                                                  | 112/483 [01:04<02:24,  2.57it/s]
 23%|█████████████████████████████████████████████████▎                                                                                                                                                                 | 113/483 [01:04<02:13,  2.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00008-of-00029.bin
+
 23%|█████████████████████████████████████████████████▎                                                                                                                                                                 | 113/483 [01:04<02:13,  2.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:53] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00002-of-00029.bin
+
 23%|█████████████████████████████████████████████████▎                                                                                                                                                                 | 113/483 [01:04<02:13,  2.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.input_layernorm.weight", shape: (8192,), dtype: float16
+
 23%|█████████████████████████████████████████████████▎                                                                                                                                                                 | 113/483 [01:06<02:13,  2.78it/s]
 24%|█████████████████████████████████████████████████▊                                                                                                                                                                 | 114/483 [01:06<03:53,  1.58it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 24%|█████████████████████████████████████████████████▊                                                                                                                                                                 | 114/483 [01:06<03:53,  1.58it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.2.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 24%|█████████████████████████████████████████████████▊                                                                                                                                                                 | 114/483 [01:06<03:53,  1.58it/s]
 24%|██████████████████████████████████████████████████▏                                                                                                                                                                | 115/483 [01:06<03:54,  1.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.2.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 24%|██████████████████████████████████████████████████▏                                                                                                                                                                | 115/483 [01:06<03:54,  1.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.input_layernorm.weight", shape: (8192,), dtype: float16
+
 24%|██████████████████████████████████████████████████▏                                                                                                                                                                | 115/483 [01:06<03:54,  1.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 24%|██████████████████████████████████████████████████▏                                                                                                                                                                | 115/483 [01:07<03:54,  1.57it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 24%|██████████████████████████████████████████████████▏                                                                                                                                                                | 115/483 [01:07<03:54,  1.57it/s]
 24%|███████████████████████████████████████████████████▌                                                                                                                                                               | 118/483 [01:07<02:30,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 24%|███████████████████████████████████████████████████▌                                                                                                                                                               | 118/483 [01:08<02:30,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 24%|███████████████████████████████████████████████████▌                                                                                                                                                               | 118/483 [01:08<02:30,  2.42it/s]
 25%|█████████████████████████████��█████████████████████▉                                                                                                                                                               | 119/483 [01:08<03:49,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.3.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 25%|███████████████████████████████████████████████████▉                                                                                                                                                               | 119/483 [01:08<03:49,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 25%|███████████████████████████████████████████████████▉                                                                                                                                                               | 119/483 [01:09<03:49,  1.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 25%|███████████████████████████████████████████████████▉                                                                                                                                                               | 119/483 [01:09<03:49,  1.59it/s]
 25%|████████████████████████████████████████████████████▊                                                                                                                                                              | 121/483 [01:09<02:42,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 25%|████████████████████████████████████████████████████▊                                                                                                                                                              | 121/483 [01:09<02:42,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:58] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.3.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 25%|████████████████████████████████████████████████████▊                                                                                                                                                              | 121/483 [01:09<02:42,  2.22it/s]
 25%|█████████████████████████████████████████████████████▎                                                                                                                                                             | 122/483 [01:09<02:22,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:58] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.input_layernorm.weight", shape: (8192,), dtype: float16
+
 25%|█████████████████████████████████████████████████████▎                                                                                                                                                             | 122/483 [01:09<02:22,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 25%|█████████████████████████████████████████████████████▎                                                                                                                                                             | 122/483 [01:09<02:22,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:14:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 25%|█████████████████████████████████████████████████████▎                                                                                                                                                             | 122/483 [01:09<02:22,  2.53it/s]
 26%|██████████████████████████████████████████████████████▏                                                                                                                                                            | 124/483 [01:09<02:11,  2.73it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 26%|██████████████████████████████████████████████████████▏                                                                                                                                                            | 124/483 [01:11<02:11,  2.73it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 26%|██████████████████████████████████████████████████████▏                                                                                                                                                            | 124/483 [01:11<02:11,  2.73it/s]
 26%|██████████████████████████████████████████████████████▌                                                                                                                                                            | 125/483 [01:11<03:36,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.4.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 26%|██████████████████████████████████████████████████████▌                                                                                                                                                            | 125/483 [01:11<03:36,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 26%|██████████████████████████████████████████████████████▌                                                                                                                                                            | 125/483 [01:11<03:36,  1.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 26%|██████████████████████████████████████████████████████▌                                                                                                                                                            | 125/483 [01:11<03:36,  1.66it/s]
 26%|███████████████████████████████████████████████████████▍                                                                                                                                                           | 127/483 [01:11<02:32,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 26%|███████████████████████████████████████████████████████▍                                                                                                                                                           | 127/483 [01:11<02:32,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.4.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 26%|███████████████████████████████████████████████████████▍                                                                                                                                                           | 127/483 [01:11<02:32,  2.33it/s]
 27%|███████████████████████████████████████████████████████▉                                                                                                                                                           | 128/483 [01:11<02:14,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 27%|███████████████████████████████████████████████████████▉                                                                                                                                                           | 128/483 [01:12<02:14,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 27%|███████████████████████████████████████████████████████▉                                                                                                                                                           | 128/483 [01:12<02:14,  2.64it/s]
 27%|████████████████████████████████████████████████████████▎                                                                                                                                                          | 129/483 [01:12<02:04,  2.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 27%|████████████████████████████████████████████████████████▎                                                                                                                                                          | 129/483 [01:12<02:04,  2.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 27%|████████████████████████████████████████████████████████▎                                                                                                                                                          | 129/483 [01:12<02:04,  2.84it/s]
 27%|████████████████████████████████████████████████████████▊                                                                                                                                                          | 130/483 [01:12<01:49,  3.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00002-of-00029.bin
+
 27%|████████████████████████████████████████████████████████▊                                                                                                                                                          | 130/483 [01:12<01:49,  3.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:01] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00009-of-00029.bin
+
 27%|████████████████████████████████████████████████████████▊                                                                                                                                                          | 130/483 [01:12<01:49,  3.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.input_layernorm.weight", shape: (8192,), dtype: float16
+
 27%|████████████████████████████████████████████████████████▊                                                                                                                                                          | 130/483 [01:14<01:49,  3.22it/s]
 27%|█████████████████████████████████████████████████████████▏                                                                                                                                                         | 131/483 [01:14<03:56,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 27%|█████████████████████████████████████████████████████████▏                                                                                                                                                         | 131/483 [01:14<03:56,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:03] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 27%|█████████████████████████████████████████████████████████▏                                                                                                                                                         | 131/483 [01:14<03:56,  1.49it/s]
 27%|█████████████████████████████████████████████████████████▋                                                                                                                                                         | 132/483 [01:14<03:53,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 27%|█████████████████████████████████████████████████████████▋                                                                                                                                                         | 132/483 [01:16<03:53,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 27%|█████████████████████████████████████████████████████████▋                                                                                                                                                         | 132/483 [01:16<03:53,  1.50it/s]
 28%|██████████████████████████████████████████████████████████                                                                                                                                                         | 133/483 [01:16<05:15,  1.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.22.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 28%|██████████████████████████████████████████████████████████                                                                                                                                                         | 133/483 [01:16<05:15,  1.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 28%|██████████████████████████████████████████████████████████                                                                                                                                                         | 133/483 [01:16<05:15,  1.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.22.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 28%|██████████████████████████████████████████████████████████                                                                                                                                                         | 133/483 [01:16<05:15,  1.11it/s]
 28%|██████████████████████████████████████████████████████████▉                                                                                                                                                        | 135/483 [01:16<03:10,  1.82it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:05] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.input_layernorm.weight", shape: (8192,), dtype: float16
+
 28%|██████████████████████████████████████████████████████████▉                                                                                                                                                        | 135/483 [01:16<03:10,  1.82it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 28%|██████████████████████████████████████████████████████████▉                                                                                                                                                        | 135/483 [01:17<03:10,  1.82it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 28%|██████████████████████████████████████████████████████████▉                                                                                                                                                        | 135/483 [01:17<03:10,  1.82it/s]
 28%|███████████████████████████████████████████████████████████▊                                                                                                                                                       | 137/483 [01:17<02:38,  2.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 28%|███████████████████████████████████████████████████████████▊                                                                                                                                                       | 137/483 [01:18<02:38,  2.18it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 28%|███████████████████████████████████████████████████████████▊                                                                                                                                                       | 137/483 [01:18<02:38,  2.18it/s]
 29%|████████████████████████████████████████████████████████████▎                                                                                                                                                      | 138/483 [01:18<03:55,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.23.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 29%|████████████████████████████████████████████████████████████▎                                                                                                                                                      | 138/483 [01:18<03:55,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 29%|████████████████████████████████████████████████████████████▎                                                                                                                                                      | 138/483 [01:18<03:55,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 29%|████████████████████████████████████████████████████████████▎                                                                                                                                                      | 138/483 [01:18<03:55,  1.47it/s]
 29%|█████████████████████████████████████████████████████████████▏                                                                                                                                                     | 140/483 [01:18<02:42,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 29%|█████████████████████████████████████████████████████████████▏                                                                                                                                                     | 140/483 [01:19<02:42,  2.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.23.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 29%|█████████████████████████████████████████████████████████████▏                                                                                                                                                     | 140/483 [01:19<02:42,  2.11it/s]
 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                     | 141/483 [01:19<02:20,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.input_layernorm.weight", shape: (8192,), dtype: float16
+
 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                     | 141/483 [01:19<02:20,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                     | 141/483 [01:19<02:20,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 29%|█████████████████████████████████████████████████████████████▌                                                                                                                                                     | 141/483 [01:19<02:20,  2.43it/s]
 30%|██████████████████████████████████████████████████████████████▍                                                                                                                                                    | 143/483 [01:19<02:07,  2.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 30%|██████████████████████████████████████████████████████████████▍                                                                                                                                                    | 143/483 [01:21<02:07,  2.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 30%|██████████████████████████████████████████████████████████████▍                                                                                                                                                    | 143/483 [01:21<02:07,  2.66it/s]
 30%|█��████████████████████████████████████████████████████████████▉                                                                                                                                                    | 144/483 [01:21<03:27,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.24.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 30%|██████████████████████████████████████████████████████████████▉                                                                                                                                                    | 144/483 [01:21<03:27,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 30%|██████████████████████████████████████████████████████████████▉                                                                                                                                                    | 144/483 [01:21<03:27,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 30%|██████████████████████████████████████████████████████████████▉                                                                                                                                                    | 144/483 [01:21<03:27,  1.64it/s]
 30%|███████████████████████████████████████████████████████████████▊                                                                                                                                                   | 146/483 [01:21<02:25,  2.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 30%|███████████████████████████████████████████████████████████████▊                                                                                                                                                   | 146/483 [01:21<02:25,  2.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.24.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 30%|███████████████████████████████████████████████████████████████▊                                                                                                                                                   | 146/483 [01:21<02:25,  2.32it/s]
 30%|████████████████████████████████████████████████████████████████▏                                                                                                                                                  | 147/483 [01:21<02:07,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00009-of-00029.bin
+
 30%|████████████████████████████████████████████████████████████████▏                                                                                                                                                  | 147/483 [01:21<02:07,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:10] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00010-of-00029.bin
+
 30%|████████████████████████████████████████████████████████████████▏                                                                                                                                                  | 147/483 [01:21<02:07,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.input_layernorm.weight", shape: (8192,), dtype: float16
+
 30%|████████████████████████████████████████████████████████████████▏                                                                                                                                                  | 147/483 [01:23<02:07,  2.64it/s]
 31%|████████████████████████████████████████████████████████████████▋                                                                                                                                                  | 148/483 [01:23<03:41,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 31%|████████████████████████████████████████████████████████████████▋                                                                                                                                                  | 148/483 [01:23<03:41,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 31%|████████████████████████████████████████████████████████████████▋                                                                                                                                                  | 148/483 [01:23<03:41,  1.51it/s]
 31%|█████████████████████████████████████████████████████████████████                                                                                                                                                  | 149/483 [01:23<03:39,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 31%|█████████████████████████████████████████████████████████████████                                                                                                                                                  | 149/483 [01:25<03:39,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 31%|█████████████████████████████████████████████████████████████████                                                                                                                                                  | 149/483 [01:25<03:39,  1.52it/s]
 31%|█████████████████████████████████████████████████████████████████▌                                                                                                                                                 | 150/483 [01:25<04:54,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.25.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 31%|█████████████████████████████████████████████████████████████████▌                                                                                                                                                 | 150/483 [01:25<04:54,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 31%|█████████████████████████████████████████████████████████████████▌                                                                                                                                                 | 150/483 [01:25<04:54,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 31%|█████████████████████████████████████████████████████████████████▌                                                                                                                                                 | 150/483 [01:25<04:54,  1.13it/s]
 31%|██████████████████████████████████████████████████████████████████▍                                                                                                                                                | 152/483 [01:25<03:06,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 31%|██████████████████████████████████████████████████████████████████▍                                                                                                                                                | 152/483 [01:25<03:06,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.25.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 31%|██████████████████████████████████████████████████████████████████▍                                                                                                                                                | 152/483 [01:25<03:06,  1.78it/s]
 32%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                | 153/483 [01:25<02:36,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.input_layernorm.weight", shape: (8192,), dtype: float16
+
 32%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                | 153/483 [01:25<02:36,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 32%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                | 153/483 [01:26<02:36,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:15] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 32%|██████████████████████████████████████████████████████████████████▊                                                                                                                                                | 153/483 [01:26<02:36,  2.10it/s]
 32%|███████████████████████████████████████████████████████████████████▋                                                                                                                                               | 155/483 [01:26<02:15,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 32%|███████████████████████████████████████████████████████████████████▋                                                                                                                                               | 155/483 [01:27<02:15,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 32%|███████████████████████████████████████████████████████████████████▋                                                                                                                                               | 155/483 [01:27<02:15,  2.42it/s]
 32%|████████████████████████████████████████████████████████████████████▏                                                                                                                                              | 156/483 [01:27<03:34,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.26.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 32%|████████████████████████████████████████████████████████████████████▏                                                                                                                                              | 156/483 [01:27<03:34,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 32%|████████████████████████████████████████████████████████████████████▏                                                                                                                                              | 156/483 [01:28<03:34,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 32%|████████████████████████████████████████████████████████████████████▏                                                                                                                                              | 156/483 [01:28<03:34,  1.53it/s]
 33%|█████████████████████████████████████████████████████████████████████                                                                                                                                              | 158/483 [01:28<02:27,  2.20it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 33%|█████████████████████████████████████████████████████████████████████                                                                                                                                              | 158/483 [01:28<02:27,  2.20it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:17] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.26.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 33%|█████████████████████████████████████████████████████████████████████                                                                                                                                              | 158/483 [01:28<02:27,  2.20it/s]
 33%|█████████████████████████████████████████████████████████████████████▍                                                                                                                                             | 159/483 [01:28<02:08,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 33%|█████████████████████████████████████████████████████████████████████▍                                                                                                                                             | 159/483 [01:29<02:08,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 33%|█████████████████████████████████████████████████████████████████████▍                                                                                                                                             | 159/483 [01:29<02:08,  2.53it/s]
 33%|█████████████████████████████████████████████████████████████████████▉                                                                                                                                             | 160/483 [01:29<03:31,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 33%|█████████████████████████████████████████████████████████████████████▉                                                                                                                                             | 160/483 [01:30<03:31,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 33%|█████████████████████████████████████████████████████████████████████▉                                                                                                                                             | 160/483 [01:30<03:31,  1.53it/s]
 33%|██████████████████████████████████████████████████████████████████████▎                                                                                                                                            | 161/483 [01:30<03:00,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 33%|█████████████████���████████████████████████████████████████████████████▎                                                                                                                                            | 161/483 [01:30<03:00,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 33%|██████████████████████████████████████████████████████████████████████▎                                                                                                                                            | 161/483 [01:30<03:00,  1.79it/s]
 34%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                            | 162/483 [01:30<02:27,  2.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00010-of-00029.bin
+
 34%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                            | 162/483 [01:30<02:27,  2.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:19] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00011-of-00029.bin
+
 34%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                            | 162/483 [01:30<02:27,  2.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.input_layernorm.weight", shape: (8192,), dtype: float16
+
 34%|██████████████████████████████████████████████████████████████████████▊                                                                                                                                            | 162/483 [01:31<02:27,  2.17it/s]
 34%|███████████████████████████████████████████████████████████████████████▏                                                                                                                                           | 163/483 [01:31<04:03,  1.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 34%|███████████████████████████████████████████████████████████████████████▏                                                                                                                                           | 163/483 [01:32<04:03,  1.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.27.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 34%|███████████████████████████████████████████████████████████████████████▏                                                                                                                                           | 163/483 [01:32<04:03,  1.32it/s]
 34%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                           | 164/483 [01:32<03:52,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.27.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 34%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                           | 164/483 [01:32<03:52,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.input_layernorm.weight", shape: (8192,), dtype: float16
+
 34%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                           | 164/483 [01:32<03:52,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 34%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                           | 164/483 [01:33<03:52,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 34%|███████████████████████████████████████████████████████████████████████▋                                                                                                                                           | 164/483 [01:33<03:52,  1.37it/s]
 35%|████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 167/483 [01:33<02:21,  2.24it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 35%|████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 167/483 [01:34<02:21,  2.24it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 35%|████████████████████████████████████████████████████████████████████████▉                                                                                                                                          | 167/483 [01:34<02:21,  2.24it/s]
 35%|█████████████████████████████████████████████████████████████████████████▍                                                                                                                                         | 168/483 [01:34<03:30,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.28.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 35%|█████████████████████████████████████████████████████████████████████████▍                                                                                                                                         | 168/483 [01:34<03:30,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 35%|█████████████████████████████████████████████████████████████████████████▍                                                                                                                                         | 168/483 [01:35<03:30,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 35%|█████████████████████████████████████████████████████████████████████████▍                                                                                                                                         | 168/483 [01:35<03:30,  1.50it/s]
 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 170/483 [01:35<02:27,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 35%|███████████████��██████████████████████████████████████████████████████████▎                                                                                                                                        | 170/483 [01:35<02:27,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.28.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 35%|██████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 170/483 [01:35<02:27,  2.12it/s]
 35%|██████████████████████████████████████████████████████████████████████████▋                                                                                                                                        | 171/483 [01:35<02:08,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.input_layernorm.weight", shape: (8192,), dtype: float16
+
 35%|██████████████████████████████████████████████████████████████████████████▋                                                                                                                                        | 171/483 [01:35<02:08,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 35%|██████████████████████████████████████████████████████████████████████████▋                                                                                                                                        | 171/483 [01:35<02:08,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 35%|██████████████████████████████████████████████████████████████████████████▋                                                                                                                                        | 171/483 [01:35<02:08,  2.43it/s]
 36%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                       | 173/483 [01:35<01:56,  2.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 36%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                       | 173/483 [01:37<01:56,  2.66it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 36%|███████████████████████████████████████████████████████████████████████████▌                                                                                                                                       | 173/483 [01:37<01:56,  2.66it/s]
 36%|████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 174/483 [01:37<03:10,  1.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.29.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 36%|████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 174/483 [01:37<03:10,  1.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 36%|████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 174/483 [01:37<03:10,  1.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 36%|████████████████████████████████████████████████████████████████████████████                                                                                                                                       | 174/483 [01:37<03:10,  1.62it/s]
 36%|████████████████████████████████████████████████████████████████████████████▉                                                                                                                                      | 176/483 [01:37<02:14,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 36%|████████████████████████████████████████████████████████████████████████████▉                                                                                                                                      | 176/483 [01:37<02:14,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.29.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 36%|████████████████████████████████████████████████████████████████████████████▉                                                                                                                                      | 176/483 [01:37<02:14,  2.29it/s]
 37%|█████████████████████████████████████████████████████████████████████████████▎                                                                                                                                     | 177/483 [01:37<01:57,  2.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:26] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00012-of-00029.bin
+
 37%|█████████████████████████████████████████████████████████████████████████████▎                                                                                                                                     | 177/483 [01:37<01:57,  2.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 37%|█████████████████████████████████████████████████████████████████████████████▎                                                                                                                                     | 177/483 [01:41<01:57,  2.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 37%|█████████████████████████████████████████████████████████████████████████████▎                                                                                                                                     | 177/483 [01:41<01:57,  2.60it/s]
 37%|█████████████████████████████████████████████████████████████████████████████▊                                                                                                                                     | 178/483 [01:41<05:28,  1.08s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 37%|█████████████████████████████████████████████████████████████████████████████▊                                                                                                                                     | 178/483 [01:41<05:28,  1.08s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 37%|█████████████████████████████████████████████████████████████████████████████▊                                                                                                                                     | 178/483 [01:41<05:28,  1.08s/it]
 37%|██████████████████████████████████████████████████████████████████████████████▏                                                                                                                                    | 179/483 [01:41<04:26,  1.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 37%|██████████████████████████████████████████████████████████████████████████████▏                                                                                                                                    | 179/483 [01:41<04:26,  1.14it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 37%|██████████████████████████████████████████████████████████████████████████████▏                                                                                                                                    | 179/483 [01:41<04:26,  1.14it/s]
 37%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                    | 180/483 [01:41<03:30,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:30] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.input_layernorm.weight", shape: (8192,), dtype: float16
+
 37%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                    | 180/483 [01:41<03:30,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 37%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                    | 180/483 [01:42<03:30,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:31] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.30.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 37%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                    | 180/483 [01:42<03:30,  1.44it/s]
 38%|███████████████████████████████████████████████████████████████████████████████▌                                                                                                                                   | 182/483 [01:42<02:42,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.30.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 38%|███████████████████████████████████████████████████████████████████████████████▌                                                                                                                                   | 182/483 [01:42<02:42,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:31] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.input_layernorm.weight", shape: (8192,), dtype: float16
+
 38%|███████████████████████████████████████████████████████████████████████████████▌                                                                                                                                   | 182/483 [01:42<02:42,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 38%|███████████████████████████████████████████████████████████████████████████████▌                                                                                                                                   | 182/483 [01:42<02:42,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 38%|███████████████████████████████████████████████████████████████████████████████▌                                                                                                                                   | 182/483 [01:43<02:42,  1.85it/s]
 38%|████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 185/483 [01:43<01:57,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 38%|████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 185/483 [01:44<01:57,  2.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 38%|████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                  | 185/483 [01:44<01:57,  2.54it/s]
 39%|█████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                 | 186/483 [01:44<03:14,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:33] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.31.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 39%|█████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                 | 186/483 [01:44<03:14,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 39%|█████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                 | 186/483 [01:45<03:14,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 39%|█████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                 | 186/483 [01:45<03:14,  1.53it/s]
 39%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 188/483 [01:45<02:21,  2.09it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 39%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 188/483 [01:45<02:21,  2.09it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.31.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 39%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 188/483 [01:45<02:21,  2.09it/s]
 39%|██████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                | 189/483 [01:45<02:04,  2.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.32.input_layernorm.weight", shape: (8192,), dtype: float16
+
 39%|██████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                | 189/483 [01:45<02:04,  2.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 39%|██████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                | 189/483 [01:46<02:04,  2.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 39%|██████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                | 189/483 [01:46<02:04,  2.35it/s]
 40%|███████████████████████████████████████████████████████████████████████████████████▍                                                                                                                               | 191/483 [01:46<01:56,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 40%|███████████████████████████████████████████████████████████████████████████████████▍                                                                                                                               | 191/483 [01:47<01:56,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 40%|███████████████████████████████████████████████████████████████████████████████████▍                                                                                                                               | 191/483 [01:47<01:56,  2.51it/s]
 40%|███████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 192/483 [01:47<03:19,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.32.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 40%|███████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 192/483 [01:47<03:19,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 40%|███████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 192/483 [01:48<03:19,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 40%|███████████████████████████████████████████████████████████████████████████████████▉                                                                                                                               | 192/483 [01:48<03:19,  1.46it/s]
 40%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                              | 194/483 [01:48<02:20,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 40%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                              | 194/483 [01:48<02:20,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.32.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 40%|████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                              | 194/483 [01:48<02:20,  2.06it/s]
 40%|█████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                             | 195/483 [01:48<02:03,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 40%|█████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                             | 195/483 [01:48<02:03,  2.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 40%|█████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                             | 195/483 [01:48<02:03,  2.33it/s]
 41%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                             | 196/483 [01:48<01:53,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 41%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                             | 196/483 [01:48<01:53,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 41%|█████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                             | 196/483 [01:48<01:53,  2.52it/s]
 41%|███████████████████████████████████████████████��██████████████████████████████████████                                                                                                                             | 197/483 [01:48<01:39,  2.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:37] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00011-of-00029.bin
+
 41%|██████████████████████████████████████████████████████████████████████████████████████                                                                                                                             | 197/483 [01:48<01:39,  2.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:38] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00012-of-00029.bin
+
 41%|██████████████████████████████████████████████████████████████████████████████████████                                                                                                                             | 197/483 [01:48<01:39,  2.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:38] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00013-of-00029.bin
+
 41%|██████████████████████████████████████████████████████████████████████████████████████                                                                                                                             | 197/483 [01:49<01:39,  2.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.33.input_layernorm.weight", shape: (8192,), dtype: float16
+
 41%|██████████████████████████████████████████████████████████████████████████████████████                                                                                                                             | 197/483 [01:50<01:39,  2.87it/s]
 41%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 198/483 [01:50<03:27,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 41%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 198/483 [01:51<03:27,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 41%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                            | 198/483 [01:51<03:27,  1.37it/s]
 41%|██████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                            | 199/483 [01:51<03:19,  1.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 41%|██████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                            | 199/483 [01:52<03:19,  1.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.33.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 41%|██████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                            | 199/483 [01:52<03:19,  1.42it/s]
 41%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                           | 200/483 [01:52<04:30,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.33.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 41%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                           | 200/483 [01:52<04:30,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:41] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.34.input_layernorm.weight", shape: (8192,), dtype: float16
+
 41%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                           | 200/483 [01:52<04:30,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 41%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                           | 200/483 [01:53<04:30,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 41%|███████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                           | 200/483 [01:53<04:30,  1.05it/s]
 42%|████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                          | 203/483 [01:53<02:35,  1.80it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 42%|████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                          | 203/483 [01:55<02:35,  1.80it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 42%|████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                          | 203/483 [01:55<02:35,  1.80it/s]
 42%|█████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 204/483 [01:55<03:36,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.34.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 42%|█████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 204/483 [01:55<03:36,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 42%|█████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 204/483 [01:55<03:36,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 42%|█████████████████████████████████████████████████████████████████████████████████████████                                                                                                                          | 204/483 [01:55<03:36,  1.29it/s]
 43%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                         | 206/483 [01:55<02:29,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 43%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                         | 206/483 [01:55<02:29,  1.85it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.34.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 43%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                         | 206/483 [01:55<02:29,  1.85it/s]
 43%|██████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                        | 207/483 [01:55<02:08,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.35.input_layernorm.weight", shape: (8192,), dtype: float16
+
 43%|██████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                        | 207/483 [01:55<02:08,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 43%|██████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                        | 207/483 [01:56<02:08,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 43%|██████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                        | 207/483 [01:56<02:08,  2.15it/s]
 43%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                       | 209/483 [01:56<01:53,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 43%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                       | 209/483 [01:57<01:53,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 43%|███████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                       | 209/483 [01:57<01:53,  2.42it/s]
 43%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                       | 210/483 [01:57<03:03,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:46] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.35.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 43%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                       | 210/483 [01:57<03:03,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 43%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                       | 210/483 [01:58<03:03,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 43%|███████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                       | 210/483 [01:58<03:03,  1.49it/s]
 44%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 212/483 [01:58<02:07,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 44%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 212/483 [01:58<02:07,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.35.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 44%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                      | 212/483 [01:58<02:07,  2.12it/s]
 44%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                      | 213/483 [01:58<01:51,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 44%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                      | 213/483 [01:58<01:51,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 44%|█████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                      | 213/483 [01:58<01:51,  2.43it/s]
 44%|█████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 214/483 [01:58<01:41,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00013-of-00029.bin
+
 44%|█████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 214/483 [01:58<01:41,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:47] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00014-of-00029.bin
+
 44%|█████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 214/483 [01:58<01:41,  2.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.36.input_layernorm.weight", shape: (8192,), dtype: float16
+
 44%|█████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 214/483 [02:00<01:41,  2.64it/s]
 45%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                     | 215/483 [02:00<03:06,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 45%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                     | 215/483 [02:00<03:06,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 45%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                     | 215/483 [02:00<03:06,  1.44it/s]
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                    | 216/483 [02:00<03:02,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                    | 216/483 [02:02<03:02,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                    | 216/483 [02:02<03:02,  1.46it/s]
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                    | 217/483 [02:02<04:17,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.36.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                    | 217/483 [02:02<04:17,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                    | 217/483 [02:02<04:17,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.36.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 45%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                    | 217/483 [02:02<04:17,  1.03it/s]
 45%|███████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                   | 219/483 [02:02<02:35,  1.70it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:51] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.37.input_layernorm.weight", shape: (8192,), dtype: float16
+
 45%|███████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                   | 219/483 [02:02<02:35,  1.70it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 45%|███████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                   | 219/483 [02:03<02:35,  1.70it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 45%|███████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                   | 219/483 [02:03<02:35,  1.70it/s]
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 221/483 [02:03<02:07,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 221/483 [02:05<02:07,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 221/483 [02:05<02:07,  2.06it/s]
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                  | 222/483 [02:05<03:10,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.37.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                  | 222/483 [02:05<03:10,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                  | 222/483 [02:05<03:10,  1.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 46%|████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                  | 222/483 [02:05<03:10,  1.37it/s]
 46%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                 | 224/483 [02:05<02:10,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 46%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                 | 224/483 [02:05<02:10,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.37.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 46%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                 | 224/483 [02:05<02:10,  1.99it/s]
 47%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 225/483 [02:05<01:52,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.38.input_layernorm.weight", shape: (8192,), dtype: float16
+
 47%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 225/483 [02:05<01:52,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 47%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 225/483 [02:06<01:52,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 47%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 225/483 [02:06<01:52,  2.29it/s]
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                               | 227/483 [02:06<01:43,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                               | 227/483 [02:07<01:43,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                               | 227/483 [02:07<01:43,  2.48it/s]
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 228/483 [02:07<02:49,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.38.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 228/483 [02:07<02:49,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 228/483 [02:08<02:49,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 47%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                               | 228/483 [02:08<02:49,  1.50it/s]
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                              | 230/483 [02:08<01:57,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 48%|████████████████████████████████████████████████████████████████████████████████████████████���███████▍                                                                                                              | 230/483 [02:08<01:57,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.38.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                              | 230/483 [02:08<01:57,  2.15it/s]
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 231/483 [02:08<01:42,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00014-of-00029.bin
+
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 231/483 [02:08<01:42,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:57] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00015-of-00029.bin
+
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 231/483 [02:08<01:42,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.39.input_layernorm.weight", shape: (8192,), dtype: float16
+
 48%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                              | 231/483 [02:09<01:42,  2.46it/s]
 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                             | 232/483 [02:09<02:50,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 48%|███████████████████████████████████████████████████████��█████████████████████████████████████████████▎                                                                                                             | 232/483 [02:10<02:50,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:15:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                             | 232/483 [02:10<02:50,  1.47it/s]
 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                             | 233/483 [02:10<02:48,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                             | 233/483 [02:12<02:48,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                             | 233/483 [02:12<02:48,  1.49it/s]
 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 234/483 [02:12<03:56,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.39.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 234/483 [02:12<03:56,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 48%|��█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 234/483 [02:12<03:56,  1.05it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 234/483 [02:12<03:56,  1.05it/s]
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                            | 236/483 [02:12<02:28,  1.67it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                            | 236/483 [02:12<02:28,  1.67it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.39.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                            | 236/483 [02:12<02:28,  1.67it/s]
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 237/483 [02:12<02:03,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:01] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.40.input_layernorm.weight", shape: (8192,), dtype: float16
+
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 237/483 [02:12<02:03,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 237/483 [02:13<02:03,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 49%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                           | 237/483 [02:13<02:03,  1.99it/s]
 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                          | 239/483 [02:13<01:44,  2.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                          | 239/483 [02:15<01:44,  2.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                          | 239/483 [02:15<01:44,  2.34it/s]
 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                          | 240/483 [02:15<02:48,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.40.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                          | 240/483 [02:15<02:48,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                          | 240/483 [02:15<02:48,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                          | 240/483 [02:15<02:48,  1.44it/s]
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                         | 242/483 [02:15<01:54,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                         | 242/483 [02:15<01:54,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.40.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                         | 242/483 [02:15<01:54,  2.10it/s]
 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 243/483 [02:15<01:39,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████��████▏                                                                                                        | 243/483 [02:17<01:39,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                        | 243/483 [02:17<01:39,  2.41it/s]
 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                        | 244/483 [02:17<02:51,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                        | 244/483 [02:17<02:51,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                        | 244/483 [02:17<02:51,  1.39it/s]
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                        | 245/483 [02:17<02:24,  1.65it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                        | 245/483 [02:17<02:24,  1.65it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 51%|█████████████████████████���█████████████████████████████████████████████████████████████████████████████████                                                                                                        | 245/483 [02:17<02:24,  1.65it/s]
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                       | 246/483 [02:17<01:57,  2.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00015-of-00029.bin
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                       | 246/483 [02:17<01:57,  2.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:06] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00016-of-00029.bin
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                       | 246/483 [02:17<01:57,  2.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.41.input_layernorm.weight", shape: (8192,), dtype: float16
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                       | 246/483 [02:19<01:57,  2.02it/s]
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 247/483 [02:19<03:07,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 247/483 [02:19<03:07,  1.26it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.41.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 51%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                       | 247/483 [02:19<03:07,  1.26it/s]
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                      | 248/483 [02:19<02:56,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.41.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                      | 248/483 [02:19<02:56,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:08] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.42.input_layernorm.weight", shape: (8192,), dtype: float16
+
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                      | 248/483 [02:19<02:56,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                      | 248/483 [02:20<02:56,  1.33it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 51%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                      | 248/483 [02:20<02:56,  1.33it/s]
 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 251/483 [02:20<01:45,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 251/483 [02:22<01:45,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                     | 251/483 [02:22<01:45,  2.19it/s]
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                     | 252/483 [02:22<02:46,  1.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.42.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                     | 252/483 [02:22<02:46,  1.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                     | 252/483 [02:22<02:46,  1.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                     | 252/483 [02:22<02:46,  1.38it/s]
 53%|██████████████████████████████████████████████████████████████████████████████��███████████████████████████████▉                                                                                                    | 254/483 [02:22<01:55,  1.98it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 53%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                    | 254/483 [02:22<01:55,  1.98it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.42.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 53%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                    | 254/483 [02:22<01:55,  1.98it/s]
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                   | 255/483 [02:22<01:39,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:11] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.43.input_layernorm.weight", shape: (8192,), dtype: float16
+
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                   | 255/483 [02:22<01:39,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                   | 255/483 [02:23<01:39,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                   | 255/483 [02:23<01:39,  2.28it/s]
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                  | 257/483 [02:23<01:31,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                  | 257/483 [02:25<01:31,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                  | 257/483 [02:25<01:31,  2.48it/s]
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                  | 258/483 [02:25<02:29,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.43.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                  | 258/483 [02:25<02:29,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                  | 258/483 [02:25<02:29,  1.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                  | 258/483 [02:25<02:29,  1.51it/s]
 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                 | 260/483 [02:25<01:43,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                 | 260/483 [02:25<01:43,  2.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.43.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 54%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                 | 260/483 [02:25<01:43,  2.15it/s]
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 261/483 [02:25<01:30,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:14] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00017-of-00029.bin
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 261/483 [02:25<01:30,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 261/483 [02:28<01:30,  2.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                 | 261/483 [02:28<01:30,  2.46it/s]
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 262/483 [02:28<04:07,  1.12s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 262/483 [02:29<04:07,  1.12s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                | 262/483 [02:29<04:07,  1.12s/it]
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                | 263/483 [02:29<03:19,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                | 263/483 [02:29<03:19,  1.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                | 263/483 [02:29<03:19,  1.10it/s]
 55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                               | 264/483 [02:29<02:37,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:18] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.44.input_layernorm.weight", shape: (8192,), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                               | 264/483 [02:29<02:37,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                               | 264/483 [02:30<02:37,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.44.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 55%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                               | 264/483 [02:30<02:37,  1.39it/s]
 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 266/483 [02:30<02:01,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.44.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 266/483 [02:30<02:01,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.45.input_layernorm.weight", shape: (8192,), dtype: float16
+
 55%|██████���█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 266/483 [02:30<02:01,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 266/483 [02:30<02:01,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:19] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 55%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 266/483 [02:30<02:01,  1.79it/s]
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                             | 269/483 [02:30<01:26,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                             | 269/483 [02:32<01:26,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                             | 269/483 [02:32<01:26,  2.48it/s]
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                             | 270/483 [02:32<02:21,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:21] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.45.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                             | 270/483 [02:32<02:21,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                             | 270/483 [02:32<02:21,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 56%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                             | 270/483 [02:32<02:21,  1.50it/s]
 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 272/483 [02:32<01:42,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 272/483 [02:33<01:42,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.45.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 56%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 272/483 [02:33<01:42,  2.06it/s]
 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                           | 273/483 [02:33<01:30,  2.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.46.input_layernorm.weight", shape: (8192,), dtype: float16
+
 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                           | 273/483 [02:33<01:30,  2.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                           | 273/483 [02:33<01:30,  2.32it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                           | 273/483 [02:33<01:30,  2.32it/s]
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                          | 275/483 [02:33<01:23,  2.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                          | 275/483 [02:35<01:23,  2.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 57%|███████████████████████████████████████████████████████████████████████████████████��████████████████████████████████████▏                                                                                          | 275/483 [02:35<01:23,  2.49it/s]
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 276/483 [02:35<02:21,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:24] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.46.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 276/483 [02:35<02:21,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 276/483 [02:35<02:21,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 57%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                          | 276/483 [02:35<02:21,  1.46it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 278/483 [02:35<01:39,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 278/483 [02:36<01:39,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.46.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 278/483 [02:36<01:39,  2.06it/s]
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                         | 279/483 [02:36<01:27,  2.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                         | 279/483 [02:36<01:27,  2.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                         | 279/483 [02:36<01:27,  2.34it/s]
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                        | 280/483 [02:36<01:20,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                        | 280/483 [02:36<01:20,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 58%|███████████████████████████████████████████████████████████████████████████████████████████████���██████████████████████████▎                                                                                        | 280/483 [02:36<01:20,  2.53it/s]
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                        | 281/483 [02:36<01:10,  2.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00017-of-00029.bin
+
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                        | 281/483 [02:36<01:10,  2.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:25] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00016-of-00029.bin
+
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                        | 281/483 [02:36<01:10,  2.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:26] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00018-of-00029.bin
+
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                        | 281/483 [02:36<01:10,  2.88it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:27] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.47.input_layernorm.weight", shape: (8192,), dtype: float16
+
 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                        | 281/483 [02:38<01:10,  2.88it/s]
 58%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 282/483 [02:38<02:28,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 58%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 282/483 [02:39<02:28,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:28] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 58%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                       | 282/483 [02:39<02:28,  1.36it/s]
 59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                       | 283/483 [02:39<02:23,  1.40it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                       | 283/483 [02:40<02:23,  1.40it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.47.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 59%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                       | 283/483 [02:40<02:23,  1.40it/s]
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                       | 284/483 [02:40<03:12,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.47.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████████                                                                                       | 284/483 [02:40<03:12,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.48.input_layernorm.weight", shape: (8192,), dtype: float16
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                       | 284/483 [02:40<03:12,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                       | 284/483 [02:41<03:12,  1.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                       | 284/483 [02:41<03:12,  1.03it/s]
 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                     | 287/483 [02:41<01:49,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                     | 287/483 [02:43<01:49,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 59%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                     | 287/483 [02:43<01:49,  1.78it/s]
 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                     | 288/483 [02:43<02:32,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.48.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                     | 288/483 [02:43<02:32,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                     | 288/483 [02:43<02:32,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                     | 288/483 [02:43<02:32,  1.27it/s]
 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                    | 290/483 [02:43<01:45,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                    | 290/483 [02:43<01:45,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.48.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 60%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                    | 290/483 [02:43<01:45,  1.84it/s]
 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 291/483 [02:43<01:30,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.49.input_layernorm.weight", shape: (8192,), dtype: float16
+
 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 291/483 [02:43<01:30,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 291/483 [02:44<01:30,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 291/483 [02:44<01:30,  2.13it/s]
 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                   | 293/483 [02:44<01:20,  2.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 61%|████████████████████████████████████████████████████████████████████████████████████████████████���██████████████████████████████▉                                                                                   | 293/483 [02:45<01:20,  2.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 61%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                   | 293/483 [02:45<01:20,  2.37it/s]
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                  | 294/483 [02:45<02:08,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.49.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                  | 294/483 [02:45<02:08,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                  | 294/483 [02:46<02:08,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 61%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                  | 294/483 [02:46<02:08,  1.47it/s]
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 296/483 [02:46<01:29,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 296/483 [02:46<01:29,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.49.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                 | 296/483 [02:46<01:29,  2.10it/s]
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                 | 297/483 [02:46<01:17,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                 | 297/483 [02:46<01:17,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 61%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                 | 297/483 [02:46<01:17,  2.41it/s]
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                | 298/483 [02:46<01:10,  2.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00018-of-00029.bin
+
 62%|█████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████████████████▏                                                                                | 298/483 [02:46<01:10,  2.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:35] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00003-of-00029.bin
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                | 298/483 [02:46<01:10,  2.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.input_layernorm.weight", shape: (8192,), dtype: float16
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                | 298/483 [02:48<01:10,  2.62it/s]
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                | 299/483 [02:48<02:12,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                | 299/483 [02:48<02:12,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                | 299/483 [02:48<02:12,  1.39it/s]
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                | 300/483 [02:48<02:07,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                | 300/483 [02:50<02:07,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.5.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                | 300/483 [02:50<02:07,  1.43it/s]
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                               | 301/483 [02:50<02:57,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.5.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                               | 301/483 [02:50<02:57,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.input_layernorm.weight", shape: (8192,), dtype: float16
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                               | 301/483 [02:50<02:57,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                               | 301/483 [02:51<02:57,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 62%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                               | 301/483 [02:51<02:57,  1.02it/s]
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                              | 304/483 [02:51<01:41,  1.76it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                              | 304/483 [02:52<01:41,  1.76it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                              | 304/483 [02:52<01:41,  1.76it/s]
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                             | 305/483 [02:52<02:19,  1.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.6.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                             | 305/483 [02:52<02:19,  1.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                             | 305/483 [02:53<02:19,  1.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 63%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                             | 305/483 [02:53<02:19,  1.28it/s]
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 307/483 [02:53<01:35,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 307/483 [02:53<01:35,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.6.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                             | 307/483 [02:53<01:35,  1.84it/s]
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                            | 308/483 [02:53<01:22,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.input_layernorm.weight", shape: (8192,), dtype: float16
+
 64%|████████████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████▌                                                                            | 308/483 [02:53<01:22,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                            | 308/483 [02:54<01:22,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                            | 308/483 [02:54<01:22,  2.13it/s]
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                           | 310/483 [02:54<01:13,  2.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                           | 310/483 [02:55<01:13,  2.37it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:44] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                           | 310/483 [02:55<01:13,  2.37it/s]
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                           | 311/483 [02:55<01:59,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:44] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.7.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                           | 311/483 [02:55<01:59,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                           | 311/483 [02:56<01:59,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                           | 311/483 [02:56<01:59,  1.43it/s]
 65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 313/483 [02:56<01:22,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 313/483 [02:56<01:22,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.7.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 65%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                          | 313/483 [02:56<01:22,  2.06it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                         | 314/483 [02:56<01:11,  2.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                         | 314/483 [02:56<01:11,  2.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.8.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                         | 314/483 [02:56<01:11,  2.36it/s]
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                         | 315/483 [02:56<01:04,  2.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00003-of-00029.bin
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                         | 315/483 [02:56<01:04,  2.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:45] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00019-of-00029.bin
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                         | 315/483 [02:56<01:04,  2.59it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.50.input_layernorm.weight", shape: (8192,), dtype: float16
+
 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                         | 315/483 [02:58<01:04,  2.59it/s]
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 316/483 [02:58<01:58,  1.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 316/483 [02:58<01:58,  1.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 65%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                         | 316/483 [02:58<01:58,  1.41it/s]
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 317/483 [02:58<01:55,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 317/483 [03:00<01:55,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 317/483 [03:00<01:55,  1.44it/s]
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                        | 318/483 [03:00<02:41,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.50.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                        | 318/483 [03:00<02:41,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                        | 318/483 [03:00<02:41,  1.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.50.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                        | 318/483 [03:00<02:41,  1.02it/s]
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                       | 320/483 [03:00<01:36,  1.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.51.input_layernorm.weight", shape: (8192,), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                       | 320/483 [03:00<01:36,  1.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                       | 320/483 [03:01<01:36,  1.68it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 66%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                       | 320/483 [03:01<01:36,  1.68it/s]
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                      | 322/483 [03:01<01:19,  2.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                      | 322/483 [03:03<01:19,  2.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 67%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                      | 322/483 [03:03<01:19,  2.03it/s]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                      | 323/483 [03:03<01:57,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.51.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                      | 323/483 [03:03<01:57,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                      | 323/483 [03:03<01:57,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                      | 323/483 [03:03<01:57,  1.36it/s]
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 325/483 [03:03<01:20,  1.97it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 325/483 [03:03<01:20,  1.97it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.51.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 67%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                     | 325/483 [03:03<01:20,  1.97it/s]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 326/483 [03:03<01:08,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.52.input_layernorm.weight", shape: (8192,), dtype: float16
+
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 326/483 [03:03<01:08,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 326/483 [03:04<01:08,  2.28it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                    | 326/483 [03:04<01:08,  2.28it/s]
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                   | 328/483 [03:04<01:02,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                   | 328/483 [03:05<01:02,  2.48it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                   | 328/483 [03:06<01:02,  2.48it/s]
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                   | 329/483 [03:06<01:46,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.52.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                   | 329/483 [03:06<01:46,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                   | 329/483 [03:06<01:46,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 68%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                   | 329/483 [03:06<01:46,  1.44it/s]
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                  | 331/483 [03:06<01:13,  2.07it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                  | 331/483 [03:06<01:13,  2.07it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.52.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                  | 331/483 [03:06<01:13,  2.07it/s]
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 332/483 [03:06<01:03,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00019-of-00029.bin
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 332/483 [03:06<01:03,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:55] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00020-of-00029.bin
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 332/483 [03:06<01:03,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.53.input_layernorm.weight", shape: (8192,), dtype: float16
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                  | 332/483 [03:08<01:03,  2.38it/s]
 69%|████████████████████████████████████████████████████���████████████████████████████████████████████████████████████████████████████████████████████▍                                                                 | 333/483 [03:08<01:45,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                 | 333/483 [03:08<01:45,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                 | 333/483 [03:08<01:45,  1.43it/s]
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                 | 334/483 [03:08<01:42,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                 | 334/483 [03:10<01:42,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                 | 334/483 [03:10<01:42,  1.46it/s]
 69%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████▎                                                                | 335/483 [03:10<02:22,  1.04it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.53.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 335/483 [03:10<02:22,  1.04it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 335/483 [03:10<02:22,  1.04it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:16:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                | 335/483 [03:10<02:22,  1.04it/s]
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                               | 337/483 [03:10<01:29,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                               | 337/483 [03:10<01:29,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.53.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                               | 337/483 [03:10<01:29,  1.64it/s]
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                               | 338/483 [03:10<01:14,  1.96it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:00] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.54.input_layernorm.weight", shape: (8192,), dtype: float16
+
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                               | 338/483 [03:10<01:14,  1.96it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                               | 338/483 [03:11<01:14,  1.96it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:00] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                               | 338/483 [03:11<01:14,  1.96it/s]
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                              | 340/483 [03:11<01:03,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 70%|██████████████████████████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████▌                                                              | 340/483 [03:13<01:03,  2.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                              | 340/483 [03:13<01:03,  2.25it/s]
 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                              | 341/483 [03:13<01:42,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.54.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                              | 341/483 [03:13<01:42,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                              | 341/483 [03:13<01:42,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                              | 341/483 [03:13<01:42,  1.39it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���██████████▊                                                             | 343/483 [03:13<01:08,  2.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 343/483 [03:13<01:08,  2.03it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:02] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.54.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                             | 343/483 [03:13<01:08,  2.03it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                            | 344/483 [03:13<00:59,  2.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                            | 344/483 [03:15<00:59,  2.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                            | 344/483 [03:15<00:59,  2.35it/s]
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                            | 345/483 [03:15<01:41,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                            | 345/483 [03:15<01:41,  1.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                            | 345/483 [03:15<01:41,  1.36it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                           | 346/483 [03:15<01:24,  1.61it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                           | 346/483 [03:15<01:24,  1.61it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                           | 346/483 [03:15<01:24,  1.61it/s]
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                           | 347/483 [03:15<01:08,  1.98it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:05] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00020-of-00029.bin
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                           | 347/483 [03:15<01:08,  1.98it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:05] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00021-of-00029.bin
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                           | 347/483 [03:16<01:08,  1.98it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.55.input_layernorm.weight", shape: (8192,), dtype: float16
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                           | 347/483 [03:17<01:08,  1.98it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                           | 348/483 [03:17<01:50,  1.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                           | 348/483 [03:18<01:50,  1.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.55.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 72%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████████                                                           | 348/483 [03:18<01:50,  1.23it/s]
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 349/483 [03:18<01:44,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.55.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 349/483 [03:18<01:44,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.56.input_layernorm.weight", shape: (8192,), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 349/483 [03:18<01:44,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 349/483 [03:18<01:44,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:08] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 349/483 [03:18<01:44,  1.29it/s]
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                         | 352/483 [03:18<01:01,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                         | 352/483 [03:20<01:01,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 73%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                         | 352/483 [03:20<01:01,  2.13it/s]
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                        | 353/483 [03:20<01:36,  1.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.56.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                        | 353/483 [03:20<01:36,  1.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                        | 353/483 [03:21<01:36,  1.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 73%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                        | 353/483 [03:21<01:36,  1.34it/s]
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 355/483 [03:21<01:06,  1.93it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 355/483 [03:21<01:06,  1.93it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.56.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 355/483 [03:21<01:06,  1.93it/s]
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 356/483 [03:21<00:57,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.57.input_layernorm.weight", shape: (8192,), dtype: float16
+
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 356/483 [03:21<00:57,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 74%|███████████████████████████████████████████████████████████████████████████████████████���███████████████████████████████████████████████████████████████████▌                                                       | 356/483 [03:21<00:57,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:10] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                       | 356/483 [03:21<00:57,  2.22it/s]
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                      | 358/483 [03:21<00:51,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                      | 358/483 [03:23<00:51,  2.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:12] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                      | 358/483 [03:23<00:51,  2.43it/s]
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 359/483 [03:23<01:26,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:12] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.57.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 359/483 [03:23<01:26,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 359/483 [03:23<01:26,  1.43it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 74%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                      | 359/483 [03:23<01:26,  1.43it/s]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 361/483 [03:23<00:59,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 361/483 [03:24<00:59,  2.06it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:13] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.57.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                     | 361/483 [03:24<00:59,  2.06it/s]
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                    | 362/483 [03:24<00:51,  2.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:13] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00022-of-00029.bin
+
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                    | 362/483 [03:24<00:51,  2.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                    | 362/483 [03:35<00:51,  2.36it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                    | 362/483 [03:35<00:51,  2.36it/s]
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                    | 363/483 [03:35<06:00,  3.00s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                    | 363/483 [03:36<06:00,  3.00s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                    | 363/483 [03:36<06:00,  3.00s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                    | 364/483 [03:36<04:39,  2.35s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                    | 364/483 [03:36<04:39,  2.35s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:25] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 75%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                    | 364/483 [03:36<04:39,  2.35s/it]
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 365/483 [03:36<03:30,  1.78s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:25] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.58.input_layernorm.weight", shape: (8192,), dtype: float16
+
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 365/483 [03:36<03:30,  1.78s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 76%|█████████���█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 365/483 [03:37<03:30,  1.78s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.58.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 76%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                   | 365/483 [03:37<03:30,  1.78s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 367/483 [03:37<02:19,  1.20s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.58.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 367/483 [03:37<02:19,  1.20s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.59.input_layernorm.weight", shape: (8192,), dtype: float16
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 367/483 [03:37<02:19,  1.20s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 367/483 [03:37<02:19,  1.20s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                  | 367/483 [03:37<02:19,  1.20s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                 | 370/483 [03:37<01:26,  1.31it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                 | 370/483 [03:40<01:26,  1.31it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 77%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                 | 370/483 [03:40<01:26,  1.31it/s]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 371/483 [03:40<01:55,  1.03s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.59.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 371/483 [03:40<01:55,  1.03s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 371/483 [03:40<01:55,  1.03s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                 | 371/483 [03:40<01:55,  1.03s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 373/483 [03:40<01:21,  1.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 373/483 [03:40<01:21,  1.35it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.59.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                | 373/483 [03:40<01:21,  1.35it/s]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 374/483 [03:40<01:10,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.60.input_layernorm.weight", shape: (8192,), dtype: float16
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 374/483 [03:40<01:10,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 374/483 [03:41<01:10,  1.54it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                               | 374/483 [03:41<01:10,  1.54it/s]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 376/483 [03:41<00:59,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 376/483 [03:43<00:59,  1.79it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:32] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 78%|███████████████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                              | 376/483 [03:43<00:59,  1.79it/s]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                              | 377/483 [03:43<01:32,  1.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.60.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                              | 377/483 [03:43<01:32,  1.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                              | 377/483 [03:44<01:32,  1.15it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 78%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                              | 377/483 [03:44<01:32,  1.15it/s]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 379/483 [03:44<01:03,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 78%|██████████████████████████████████████��██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 379/483 [03:44<01:03,  1.64it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.60.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 379/483 [03:44<01:03,  1.64it/s]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 380/483 [03:44<00:55,  1.86it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 380/483 [03:44<00:55,  1.86it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                             | 380/483 [03:44<00:55,  1.86it/s]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 381/483 [03:44<00:50,  2.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 381/483 [03:44<00:50,  2.02it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                            | 381/483 [03:44<00:50,  2.02it/s]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                            | 382/483 [03:44<00:43,  2.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:33] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00022-of-00029.bin
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                            | 382/483 [03:44<00:43,  2.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:34] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00021-of-00029.bin
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                            | 382/483 [03:45<00:43,  2.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:34] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00023-of-00029.bin
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                            | 382/483 [03:45<00:43,  2.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:36] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.61.input_layernorm.weight", shape: (8192,), dtype: float16
+
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                            | 382/483 [03:46<00:43,  2.30it/s]
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                           | 383/483 [03:46<01:25,  1.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                           | 383/483 [03:47<01:25,  1.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:36] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 79%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                           | 383/483 [03:47<01:25,  1.17it/s]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                           | 384/483 [03:47<01:18,  1.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                           | 384/483 [03:49<01:18,  1.25it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.61.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                           | 384/483 [03:49<01:18,  1.25it/s]
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                          | 385/483 [03:49<01:37,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.61.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                          | 385/483 [03:49<01:37,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.62.input_layernorm.weight", shape: (8192,), dtype: float16
+
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                          | 385/483 [03:49<01:37,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                          | 385/483 [03:49<01:37,  1.01it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 80%|██████████████████████���█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                          | 385/483 [03:49<01:37,  1.01it/s]
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 388/483 [03:49<00:54,  1.75it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 388/483 [03:51<00:54,  1.75it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                         | 388/483 [03:51<00:54,  1.75it/s]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                         | 389/483 [03:51<01:12,  1.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.62.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                         | 389/483 [03:51<01:12,  1.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                         | 389/483 [03:51<01:12,  1.30it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                         | 389/483 [03:51<01:12,  1.30it/s]
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                        | 391/483 [03:51<00:49,  1.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                        | 391/483 [03:51<00:49,  1.87it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.62.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                        | 391/483 [03:51<00:49,  1.87it/s]
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                       | 392/483 [03:51<00:42,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:40] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.63.input_layernorm.weight", shape: (8192,), dtype: float16
+
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                       | 392/483 [03:51<00:42,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                       | 392/483 [03:52<00:42,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:41] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                       | 392/483 [03:52<00:42,  2.16it/s]
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                       | 394/483 [03:52<00:36,  2.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                       | 394/483 [03:53<00:36,  2.45it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:42] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████���████████████████████████████████████████████████████████████                                       | 394/483 [03:53<00:36,  2.45it/s]
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                      | 395/483 [03:53<00:56,  1.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:42] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.63.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                      | 395/483 [03:53<00:56,  1.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                      | 395/483 [03:54<00:56,  1.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                      | 395/483 [03:54<00:56,  1.56it/s]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 397/483 [03:54<00:38,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 397/483 [03:54<00:38,  2.22it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.63.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                     | 397/483 [03:54<00:38,  2.22it/s]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                     | 398/483 [03:54<00:33,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                     | 398/483 [03:54<00:33,  2.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                     | 398/483 [03:54<00:33,  2.53it/s]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                    | 399/483 [03:54<00:30,  2.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00023-of-00029.bin
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                    | 399/483 [03:54<00:30,  2.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:43] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00024-of-00029.bin
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                    | 399/483 [03:54<00:30,  2.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:45] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.64.input_layernorm.weight", shape: (8192,), dtype: float16
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                    | 399/483 [03:56<00:30,  2.74it/s]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 400/483 [03:56<00:58,  1.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 400/483 [03:56<00:58,  1.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:46] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 400/483 [03:56<00:58,  1.42it/s]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 401/483 [03:56<00:56,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 401/483 [03:58<00:56,  1.46it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                   | 401/483 [03:58<00:56,  1.46it/s]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 402/483 [03:58<01:14,  1.09it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.64.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 402/483 [03:58<01:14,  1.09it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████████▌                                   | 402/483 [03:58<01:14,  1.09it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.64.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 402/483 [03:58<01:14,  1.09it/s]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 404/483 [03:58<00:44,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:47] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.65.input_layernorm.weight", shape: (8192,), dtype: float16
+
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 404/483 [03:58<00:44,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 404/483 [03:59<00:44,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:48] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 404/483 [03:59<00:44,  1.78it/s]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                 | 406/483 [03:59<00:36,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                 | 406/483 [04:00<00:36,  2.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:49] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                 | 406/483 [04:00<00:36,  2.13it/s]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                 | 407/483 [04:00<00:52,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:49] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.65.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                 | 407/483 [04:00<00:52,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                 | 407/483 [04:01<00:52,  1.44it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                 | 407/483 [04:01<00:52,  1.44it/s]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 409/483 [04:01<00:35,  2.07it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 409/483 [04:01<00:35,  2.07it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:50] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.65.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                | 409/483 [04:01<00:35,  2.07it/s]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 410/483 [04:01<00:30,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:50] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.66.input_layernorm.weight", shape: (8192,), dtype: float16
+
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████                                | 410/483 [04:01<00:30,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 410/483 [04:01<00:30,  2.38it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:51] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                | 410/483 [04:01<00:30,  2.38it/s]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                               | 412/483 [04:01<00:27,  2.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                               | 412/483 [04:03<00:27,  2.62it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                               | 412/483 [04:03<00:27,  2.62it/s]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 413/483 [04:03<00:43,  1.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:52] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.66.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 413/483 [04:03<00:43,  1.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 413/483 [04:03<00:43,  1.60it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:52] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                              | 413/483 [04:03<00:43,  1.60it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                             | 415/483 [04:03<00:29,  2.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���▎                             | 415/483 [04:03<00:29,  2.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:53] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.66.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                             | 415/483 [04:03<00:29,  2.27it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                             | 416/483 [04:03<00:25,  2.58it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:53] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00024-of-00029.bin
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                             | 416/483 [04:03<00:25,  2.58it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:53] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00025-of-00029.bin
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                             | 416/483 [04:04<00:25,  2.58it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:54] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.67.input_layernorm.weight", shape: (8192,), dtype: float16
+
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                             | 416/483 [04:05<00:25,  2.58it/s]
 86%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████��████████████████████████████████████████████████████████████████████████▏                            | 417/483 [04:05<00:44,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                            | 417/483 [04:06<00:44,  1.49it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:55] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                            | 417/483 [04:06<00:44,  1.49it/s]
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 418/483 [04:06<00:43,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 418/483 [04:07<00:43,  1.50it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:56] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 418/483 [04:07<00:43,  1.50it/s]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 419/483 [04:07<00:56,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:56] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.67.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 419/483 [04:07<00:56,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 419/483 [04:07<00:56,  1.13it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 419/483 [04:07<00:56,  1.13it/s]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 421/483 [04:07<00:34,  1.77it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��███████████████████████████████████████▉                           | 421/483 [04:08<00:34,  1.77it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.67.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 421/483 [04:08<00:34,  1.77it/s]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 422/483 [04:08<00:29,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.68.input_layernorm.weight", shape: (8192,), dtype: float16
+
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 422/483 [04:08<00:29,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 422/483 [04:08<00:29,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:57] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 422/483 [04:08<00:29,  2.10it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 424/483 [04:08<00:24,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 424/483 [04:10<00:24,  2.42it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 424/483 [04:10<00:24,  2.42it/s]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 425/483 [04:10<00:38,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.68.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 425/483 [04:10<00:38,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████��█████████████████████▋                         | 425/483 [04:10<00:38,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 425/483 [04:10<00:38,  1.52it/s]
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 427/483 [04:10<00:25,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 427/483 [04:10<00:25,  2.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:17:59] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.68.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 427/483 [04:10<00:25,  2.19it/s]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 428/483 [04:10<00:21,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 89%|███████████████████████████████████████████████████████████████��██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 428/483 [04:12<00:21,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 428/483 [04:12<00:21,  2.51it/s]
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 429/483 [04:12<00:35,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 429/483 [04:12<00:35,  1.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 429/483 [04:12<00:35,  1.52it/s]
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 430/483 [04:12<00:29,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 430/483 [04:12<00:29,  1.78it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 430/483 [04:12<00:29,  1.78it/s]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 431/483 [04:12<00:24,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00025-of-00029.bin
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 431/483 [04:12<00:24,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:01] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00026-of-00029.bin
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 431/483 [04:12<00:24,  2.16it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:03] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.69.input_layernorm.weight", shape: (8192,), dtype: float16
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 431/483 [04:14<00:24,  2.16it/s]
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 432/483 [04:14<00:45,  1.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 432/483 [04:15<00:45,  1.11it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:04] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.69.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 432/483 [04:15<00:45,  1.11it/s]
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 433/483 [04:15<00:41,  1.21it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.69.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 433/483 [04:15<00:41,  1.21it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:04] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.70.input_layernorm.weight", shape: (8192,), dtype: float16
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 433/483 [04:15<00:41,  1.21it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 433/483 [04:16<00:41,  1.21it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:05] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 433/483 [04:16<00:41,  1.21it/s]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 436/483 [04:16<00:23,  2.04it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 436/483 [04:17<00:23,  2.04it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:06] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 90%|████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 436/483 [04:17<00:23,  2.04it/s]
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 437/483 [04:17<00:32,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:06] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.70.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 437/483 [04:17<00:32,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 437/483 [04:17<00:32,  1.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 437/483 [04:17<00:32,  1.39it/s]
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 439/483 [04:17<00:22,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 439/483 [04:18<00:22,  1.99it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.70.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 439/483 [04:18<00:22,  1.99it/s]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 440/483 [04:18<00:18,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.71.input_layernorm.weight", shape: (8192,), dtype: float16
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 440/483 [04:18<00:18,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 440/483 [04:18<00:18,  2.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:07] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 91%|████████████████████████████████���███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 440/483 [04:18<00:18,  2.29it/s]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 442/483 [04:18<00:16,  2.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 442/483 [04:20<00:16,  2.56it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 442/483 [04:20<00:16,  2.56it/s]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 443/483 [04:20<00:25,  1.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.71.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 443/483 [04:20<00:25,  1.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 443/483 [04:20<00:25,  1.55it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 443/483 [04:20<00:25,  1.55it/s]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 445/483 [04:20<00:17,  2.20it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 445/483 [04:20<00:17,  2.20it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.71.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 445/483 [04:20<00:17,  2.20it/s]
 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���█████████████████████████████████████████████████████████████████████▊                | 446/483 [04:20<00:14,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:09] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00027-of-00029.bin
+
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 446/483 [04:20<00:14,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 446/483 [04:32<00:14,  2.51it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:21] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 446/483 [04:32<00:14,  2.51it/s]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 447/483 [04:32<01:51,  3.09s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 447/483 [04:33<01:51,  3.09s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 447/483 [04:33<01:51,  3.09s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 448/483 [04:33<01:23,  2.39s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 448/483 [04:33<01:23,  2.39s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:22] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 448/483 [04:33<01:23,  2.39s/it]
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 449/483 [04:33<01:01,  1.82s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:22] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.72.input_layernorm.weight", shape: (8192,), dtype: float16
+
 93%|██████████████████████████████████████████████████████████████████████��█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 449/483 [04:33<01:01,  1.82s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 449/483 [04:34<01:01,  1.82s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:23] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.72.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 93%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 449/483 [04:34<01:01,  1.82s/it]
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 451/483 [04:34<00:39,  1.22s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.72.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 451/483 [04:34<00:39,  1.22s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:23] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.73.input_layernorm.weight", shape: (8192,), dtype: float16
+
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���██████████████████████████████████████████████████              | 451/483 [04:34<00:39,  1.22s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 451/483 [04:35<00:39,  1.22s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:24] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 451/483 [04:35<00:39,  1.22s/it]
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 454/483 [04:35<00:22,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 454/483 [04:37<00:22,  1.29it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 454/483 [04:37<00:22,  1.29it/s]
 94%|███��██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 455/483 [04:37<00:29,  1.04s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.73.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 455/483 [04:37<00:29,  1.04s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 455/483 [04:37<00:29,  1.04s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 455/483 [04:37<00:29,  1.04s/it]
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 457/483 [04:37<00:19,  1.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 457/483 [04:37<00:19,  1.34it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.73.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 457/483 [04:37<00:19,  1.34it/s]
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████           | 458/483 [04:37<00:16,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:26] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.74.input_layernorm.weight", shape: (8192,), dtype: float16
+
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████           | 458/483 [04:37<00:16,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████           | 458/483 [04:38<00:16,  1.53it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:27] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████           | 458/483 [04:38<00:16,  1.53it/s]
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 460/483 [04:38<00:12,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 460/483 [04:40<00:12,  1.84it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 460/483 [04:40<00:12,  1.84it/s]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 461/483 [04:40<00:17,  1.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:29] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.74.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 461/483 [04:40<00:17,  1.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 461/483 [04:40<00:17,  1.23it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:29] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 461/483 [04:40<00:17,  1.23it/s]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 463/483 [04:40<00:11,  1.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 463/483 [04:41<00:11,  1.74it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.74.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 463/483 [04:41<00:11,  1.74it/s]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 464/483 [04:41<00:09,  1.96it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 464/483 [04:41<00:09,  1.96it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 464/483 [04:41<00:09,  1.96it/s]
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 465/483 [04:41<00:08,  2.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 465/483 [04:41<00:08,  2.17it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 465/483 [04:41<00:08,  2.17it/s]
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 466/483 [04:41<00:06,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00027-of-00029.bin
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 466/483 [04:41<00:06,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:30] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00026-of-00029.bin
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 466/483 [04:41<00:06,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:31] INFO huggingface_loader.py:169: Loading HF parameters from: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00028-of-00029.bin
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 466/483 [04:42<00:06,  2.52it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:32] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.75.input_layernorm.weight", shape: (8192,), dtype: float16
+
 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 466/483 [04:43<00:06,  2.52it/s]
 97%|██████████████████████████████████████████████████████████████████���█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 467/483 [04:43<00:13,  1.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 467/483 [04:44<00:13,  1.19it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:33] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 467/483 [04:44<00:13,  1.19it/s]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 468/483 [04:44<00:11,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 468/483 [04:45<00:11,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:34] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.75.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 468/483 [04:45<00:11,  1.27it/s]
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 469/483 [04:45<00:14,  1.01s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.75.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 469/483 [04:45<00:14,  1.01s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:34] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.76.input_layernorm.weight", shape: (8192,), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 469/483 [04:45<00:14,  1.01s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 469/483 [04:46<00:14,  1.01s/it]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:35] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 97%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 469/483 [04:46<00:14,  1.01s/it]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 472/483 [04:46<00:06,  1.72it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 472/483 [04:48<00:06,  1.72it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 472/483 [04:48<00:06,  1.72it/s]
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 473/483 [04:48<00:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.76.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 473/483 [04:48<00:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 473/483 [04:48<00:07,  1.27it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 473/483 [04:48<00:07,  1.27it/s]
 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 475/483 [04:48<00:04,  1.83it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 475/483 [04:48<00:04,  1.83it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.76.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 475/483 [04:48<00:04,  1.83it/s]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���████████████████████████████████████████████▉   | 476/483 [04:48<00:03,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:37] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.77.input_layernorm.weight", shape: (8192,), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 476/483 [04:48<00:03,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.mlp.down_proj.q_weight", shape: (8192, 3584), dtype: uint32
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 476/483 [04:49<00:03,  2.12it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:38] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.mlp.down_proj.q_scale", shape: (8192, 896), dtype: float16
+
 99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 476/483 [04:49<00:03,  2.12it/s]
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 478/483 [04:49<00:02,  2.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.mlp.gate_up_proj.q_weight", shape: (57344, 1024), dtype: uint32
+
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████���█████▊  | 478/483 [04:50<00:02,  2.39it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:39] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.mlp.gate_up_proj.q_scale", shape: (57344, 256), dtype: float16
+
 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 478/483 [04:50<00:02,  2.39it/s]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 479/483 [04:50<00:02,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:39] INFO huggingface_loader.py:129: [Not quantized] Parameter: "model.layers.77.post_attention_layernorm.weight", shape: (8192,), dtype: float16
+
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 479/483 [04:50<00:02,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 479/483 [04:51<00:02,  1.47it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 479/483 [04:51<00:02,  1.47it/s]
100%|███████���██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 481/483 [04:51<00:00,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.self_attn.o_proj.q_weight", shape: (8192, 1024), dtype: uint32
+
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 481/483 [04:51<00:00,  2.10it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.77.self_attn.o_proj.q_scale", shape: (8192, 256), dtype: float16
+
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 481/483 [04:51<00:00,  2.10it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 482/483 [04:51<00:00,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.self_attn.qkv_proj.q_weight", shape: (10240, 1024), dtype: uint32
+
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 482/483 [04:51<00:00,  2.41it/s]
                                                                                                                                                                                                                                                          
[2024-01-30 12:18:40] INFO huggingface_loader.py:121: [Quantized] Parameter: "model.layers.78.self_attn.qkv_proj.q_scale", shape: (10240, 256), dtype: float16
+
100%|█████████████████████████████████��████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 482/483 [04:51<00:00,  2.41it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 483/483 [04:51<00:00,  2.62it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 483/483 [04:51<00:00,  1.66it/s]
+[2024-01-30 12:18:40] INFO huggingface_loader.py:181: Unloading HF weight file: /Users/Shared/models/CodeLlama-70b-hf/pytorch_model-00028-of-00029.bin
+[2024-01-30 12:18:40] INFO stats.py:76: Time usage: HF loading: 58.684 sec; Pre-quantization mapping: 203.897 sec; Quantization: 4.165 sec
+[2024-01-30 12:18:40] INFO stats.py:90: RAM usage: Peak RAM: 17.477 GB. Total bytes loaded from disk: 265.647 GB
+[2024-01-30 12:18:40] INFO convert_weight.py:121: Parameter size after quantization: 36.137 GB
+[2024-01-30 12:18:40] INFO convert_weight.py:126: Total parameters: 71,308,992,512
+[2024-01-30 12:18:40] INFO convert_weight.py:127: Bits per parameter: 4.353
+Start storing to cache /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c
+

[0001/0805] saving lm_head.q_weight
                                   
[0002/0805] saving lm_head.q_scale
                                   
[0003/0805] saving model.layers.78.input_layernorm.weight
                                                         
[0004/0805] saving model.layers.78.mlp.down_proj.q_weight
                                                         
[0005/0805] saving model.layers.78.mlp.down_proj.q_scale
                                                         
[0006/0805] saving model.layers.78.mlp.gate_up_proj.q_weight
                                                            
[0007/0805] saving model.layers.78.mlp.gate_up_proj.q_scale
                                                            
[0008/0805] saving model.layers.78.post_attention_layernorm.weight
                                                                  
[0009/0805] saving model.layers.78.self_attn.o_proj.q_weight
                                                                  
[0010/0805] saving model.layers.78.self_attn.o_proj.q_scale
                                                                  
[0011/0805] saving model.layers.79.input_layernorm.weight
                                                                  
[0012/0805] saving model.layers.79.mlp.down_proj.q_weight
                                                                  
[0013/0805] saving model.layers.79.mlp.down_proj.q_scale
                                                                  
[0014/0805] saving model.layers.79.mlp.gate_up_proj.q_weight
                                                                  
[0015/0805] saving model.layers.79.mlp.gate_up_proj.q_scale
                                                                  
[0016/0805] saving model.layers.79.post_attention_layernorm.weight
                                                                  
[0017/0805] saving model.layers.79.self_attn.qkv_proj.q_weight
                                                                  
[0018/0805] saving model.layers.79.self_attn.qkv_proj.q_scale
                                                                  
[0019/0805] saving model.layers.79.self_attn.o_proj.q_weight
                                                                  
[0020/0805] saving model.layers.79.self_attn.o_proj.q_scale
                                                                  
[0021/0805] saving model.norm.weight
                                                                  
[0022/0805] saving model.embed_tokens.q_weight
                                                                  
[0023/0805] saving model.embed_tokens.q_scale
                                                                  
[0024/0805] saving model.layers.0.input_layernorm.weight
                                                                  
[0025/0805] saving model.layers.0.mlp.down_proj.q_weight
                                                                  
[0026/0805] saving model.layers.0.mlp.down_proj.q_scale
                                                                  
[0027/0805] saving model.layers.0.mlp.gate_up_proj.q_weight
                                                                  
[0028/0805] saving model.layers.0.mlp.gate_up_proj.q_scale
                                                                  
[0029/0805] saving model.layers.0.post_attention_layernorm.weight
                                                                  
[0030/0805] saving model.layers.0.self_attn.qkv_proj.q_weight
                                                                  
[0031/0805] saving model.layers.0.self_attn.qkv_proj.q_scale
                                                                  
[0032/0805] saving model.layers.0.self_attn.o_proj.q_weight
                                                                  
[0033/0805] saving model.layers.0.self_attn.o_proj.q_scale
                                                                  
[0034/0805] saving model.layers.1.input_layernorm.weight
                                                                  
[0035/0805] saving model.layers.1.mlp.down_proj.q_weight
                                                                  
[0036/0805] saving model.layers.1.mlp.down_proj.q_scale
                                                                  
[0037/0805] saving model.layers.1.mlp.gate_up_proj.q_weight
                                                                  
[0038/0805] saving model.layers.1.mlp.gate_up_proj.q_scale
                                                                  
[0039/0805] saving model.layers.1.post_attention_layernorm.weight
                                                                  
[0040/0805] saving model.layers.1.self_attn.qkv_proj.q_weight
                                                                  
[0041/0805] saving model.layers.1.self_attn.qkv_proj.q_scale
                                                                  
[0042/0805] saving model.layers.1.self_attn.o_proj.q_weight
                                                                  
[0043/0805] saving model.layers.1.self_attn.o_proj.q_scale
                                                                  
[0044/0805] saving model.layers.2.mlp.gate_up_proj.q_weight
                                                                  
[0045/0805] saving model.layers.2.mlp.gate_up_proj.q_scale
                                                                  
[0046/0805] saving model.layers.2.self_attn.qkv_proj.q_weight
                                                                  
[0047/0805] saving model.layers.2.self_attn.qkv_proj.q_scale
                                                                  
[0048/0805] saving model.layers.2.self_attn.o_proj.q_weight
                                                                  
[0049/0805] saving model.layers.2.self_attn.o_proj.q_scale
                                                                  
[0050/0805] saving model.layers.10.input_layernorm.weight
                                                                  
[0051/0805] saving model.layers.10.mlp.down_proj.q_weight
                                                                  
[0052/0805] saving model.layers.10.mlp.down_proj.q_scale
                                                                  
[0053/0805] saving model.layers.10.mlp.gate_up_proj.q_weight
                                                                  
[0054/0805] saving model.layers.10.mlp.gate_up_proj.q_scale
                                                                  
[0055/0805] saving model.layers.10.post_attention_layernorm.weight
                                                                  
[0056/0805] saving model.layers.10.self_attn.qkv_proj.q_weight
                                                                  
[0057/0805] saving model.layers.10.self_attn.qkv_proj.q_scale
                                                                  
[0058/0805] saving model.layers.10.self_attn.o_proj.q_weight
                                                                  
[0059/0805] saving model.layers.10.self_attn.o_proj.q_scale
                                                                  
[0060/0805] saving model.layers.8.input_layernorm.weight
                                                                  
[0061/0805] saving model.layers.8.mlp.down_proj.q_weight
                                                                  
[0062/0805] saving model.layers.8.mlp.down_proj.q_scale
                                                                  
[0063/0805] saving model.layers.8.mlp.gate_up_proj.q_weight
                                                                  
[0064/0805] saving model.layers.8.mlp.gate_up_proj.q_scale
                                                                  
[0065/0805] saving model.layers.8.post_attention_layernorm.weight
                                                                  
[0066/0805] saving model.layers.8.self_attn.o_proj.q_weight
                                                                  
[0067/0805] saving model.layers.8.self_attn.o_proj.q_scale
                                                                  
[0068/0805] saving model.layers.9.input_layernorm.weight
                                                                  
[0069/0805] saving model.layers.9.mlp.down_proj.q_weight
                                                                  
[0070/0805] saving model.layers.9.mlp.down_proj.q_scale
                                                                  
[0071/0805] saving model.layers.9.mlp.gate_up_proj.q_weight
                                                                  
[0072/0805] saving model.layers.9.mlp.gate_up_proj.q_scale
                                                                  
[0073/0805] saving model.layers.9.post_attention_layernorm.weight
                                                                  
[0074/0805] saving model.layers.9.self_attn.qkv_proj.q_weight
                                                                  
[0075/0805] saving model.layers.9.self_attn.qkv_proj.q_scale
                                                                  
[0076/0805] saving model.layers.9.self_attn.o_proj.q_weight
                                                                  
[0077/0805] saving model.layers.9.self_attn.o_proj.q_scale
                                                                  
[0078/0805] saving model.layers.11.input_layernorm.weight
                                                                  
[0079/0805] saving model.layers.11.mlp.down_proj.q_weight
                                                                  
[0080/0805] saving model.layers.11.mlp.down_proj.q_scale
                                                                  
[0081/0805] saving model.layers.11.mlp.gate_up_proj.q_weight
                                                                  
[0082/0805] saving model.layers.11.mlp.gate_up_proj.q_scale
                                                                  
[0083/0805] saving model.layers.11.post_attention_layernorm.weight
                                                                  
[0084/0805] saving model.layers.11.self_attn.qkv_proj.q_weight
                                                                  
[0085/0805] saving model.layers.11.self_attn.qkv_proj.q_scale
                                                                  
[0086/0805] saving model.layers.11.self_attn.o_proj.q_weight
                                                                  
[0087/0805] saving model.layers.11.self_attn.o_proj.q_scale
                                                                  
[0088/0805] saving model.layers.12.input_layernorm.weight
                                                                  
[0089/0805] saving model.layers.12.mlp.down_proj.q_weight
                                                                  
[0090/0805] saving model.layers.12.mlp.down_proj.q_scale
                                                                  
[0091/0805] saving model.layers.12.mlp.gate_up_proj.q_weight
                                                                  
[0092/0805] saving model.layers.12.mlp.gate_up_proj.q_scale
                                                                  
[0093/0805] saving model.layers.12.post_attention_layernorm.weight
                                                                  
[0094/0805] saving model.layers.12.self_attn.qkv_proj.q_weight
                                                                  
[0095/0805] saving model.layers.12.self_attn.qkv_proj.q_scale
                                                                  
[0096/0805] saving model.layers.12.self_attn.o_proj.q_weight
                                                                  
[0097/0805] saving model.layers.12.self_attn.o_proj.q_scale
                                                                  
[0098/0805] saving model.layers.13.mlp.gate_up_proj.q_weight
                                                                  
[0099/0805] saving model.layers.13.mlp.gate_up_proj.q_scale
                                                                  
[0100/0805] saving model.layers.13.self_attn.qkv_proj.q_weight
                                                                  
[0101/0805] saving model.layers.13.self_attn.qkv_proj.q_scale
                                                                  
[0102/0805] saving model.layers.13.self_attn.o_proj.q_weight
                                                                  
[0103/0805] saving model.layers.13.self_attn.o_proj.q_scale
                                                                  
[0104/0805] saving model.layers.13.input_layernorm.weight
                                                                  
[0105/0805] saving model.layers.13.mlp.down_proj.q_weight
                                                                  
[0106/0805] saving model.layers.13.mlp.down_proj.q_scale
                                                                  
[0107/0805] saving model.layers.13.post_attention_layernorm.weight
                                                                  
[0108/0805] saving model.layers.14.input_layernorm.weight
                                                                  
[0109/0805] saving model.layers.14.mlp.down_proj.q_weight
                                                                  
[0110/0805] saving model.layers.14.mlp.down_proj.q_scale
                                                                  
[0111/0805] saving model.layers.14.mlp.gate_up_proj.q_weight
                                                                  
[0112/0805] saving model.layers.14.mlp.gate_up_proj.q_scale
                                                                  
[0113/0805] saving model.layers.14.post_attention_layernorm.weight
                                                                  
[0114/0805] saving model.layers.14.self_attn.qkv_proj.q_weight
                                                                  
[0115/0805] saving model.layers.14.self_attn.qkv_proj.q_scale
                                                                  
[0116/0805] saving model.layers.14.self_attn.o_proj.q_weight
                                                                  
[0117/0805] saving model.layers.14.self_attn.o_proj.q_scale
                                                                  
[0118/0805] saving model.layers.15.input_layernorm.weight
                                                                  
[0119/0805] saving model.layers.15.mlp.down_proj.q_weight
                                                                  
[0120/0805] saving model.layers.15.mlp.down_proj.q_scale
                                                                  
[0121/0805] saving model.layers.15.mlp.gate_up_proj.q_weight
                                                                  
[0122/0805] saving model.layers.15.mlp.gate_up_proj.q_scale
                                                                  
[0123/0805] saving model.layers.15.post_attention_layernorm.weight
                                                                  
[0124/0805] saving model.layers.15.self_attn.qkv_proj.q_weight
                                                                  
[0125/0805] saving model.layers.15.self_attn.qkv_proj.q_scale
                                                                  
[0126/0805] saving model.layers.15.self_attn.o_proj.q_weight
                                                                  
[0127/0805] saving model.layers.15.self_attn.o_proj.q_scale
                                                                  
[0128/0805] saving model.layers.16.mlp.gate_up_proj.q_weight
                                                                  
[0129/0805] saving model.layers.16.mlp.gate_up_proj.q_scale
                                                                  
[0130/0805] saving model.layers.16.self_attn.qkv_proj.q_weight
                                                                  
[0131/0805] saving model.layers.16.self_attn.qkv_proj.q_scale
                                                                  
[0132/0805] saving model.layers.16.self_attn.o_proj.q_weight
                                                                  
[0133/0805] saving model.layers.16.self_attn.o_proj.q_scale
                                                                  
[0134/0805] saving model.layers.16.input_layernorm.weight
                                                                  
[0135/0805] saving model.layers.16.mlp.down_proj.q_weight
                                                                  
[0136/0805] saving model.layers.16.mlp.down_proj.q_scale
                                                                  
[0137/0805] saving model.layers.16.post_attention_layernorm.weight
                                                                  
[0138/0805] saving model.layers.17.input_layernorm.weight
                                                                  
[0139/0805] saving model.layers.17.mlp.down_proj.q_weight
                                                                  
[0140/0805] saving model.layers.17.mlp.down_proj.q_scale
                                                                  
[0141/0805] saving model.layers.17.mlp.gate_up_proj.q_weight
                                                                  
[0142/0805] saving model.layers.17.mlp.gate_up_proj.q_scale
                                                                  
[0143/0805] saving model.layers.17.post_attention_layernorm.weight
                                                                  
[0144/0805] saving model.layers.17.self_attn.qkv_proj.q_weight
                                                                  
[0145/0805] saving model.layers.17.self_attn.qkv_proj.q_scale
                                                                  
[0146/0805] saving model.layers.17.self_attn.o_proj.q_weight
                                                                  
[0147/0805] saving model.layers.17.self_attn.o_proj.q_scale
                                                                  
[0148/0805] saving model.layers.18.input_layernorm.weight
                                                                  
[0149/0805] saving model.layers.18.mlp.down_proj.q_weight
                                                                  
[0150/0805] saving model.layers.18.mlp.down_proj.q_scale
                                                                  
[0151/0805] saving model.layers.18.mlp.gate_up_proj.q_weight
                                                                  
[0152/0805] saving model.layers.18.mlp.gate_up_proj.q_scale
                                                                  
[0153/0805] saving model.layers.18.post_attention_layernorm.weight
                                                                  
[0154/0805] saving model.layers.18.self_attn.qkv_proj.q_weight
                                                                  
[0155/0805] saving model.layers.18.self_attn.qkv_proj.q_scale
                                                                  
[0156/0805] saving model.layers.18.self_attn.o_proj.q_weight
                                                                  
[0157/0805] saving model.layers.18.self_attn.o_proj.q_scale
                                                                  
[0158/0805] saving model.layers.19.self_attn.qkv_proj.q_weight
                                                                  
[0159/0805] saving model.layers.19.self_attn.qkv_proj.q_scale
                                                                  
[0160/0805] saving model.layers.19.self_attn.o_proj.q_weight
                                                                  
[0161/0805] saving model.layers.19.self_attn.o_proj.q_scale
                                                                  
[0162/0805] saving model.layers.19.input_layernorm.weight
                                                                  
[0163/0805] saving model.layers.19.mlp.down_proj.q_weight
                                                                  
[0164/0805] saving model.layers.19.mlp.down_proj.q_scale
                                                                  
[0165/0805] saving model.layers.19.mlp.gate_up_proj.q_weight
                                                                  
[0166/0805] saving model.layers.19.mlp.gate_up_proj.q_scale
                                                                  
[0167/0805] saving model.layers.19.post_attention_layernorm.weight
                                                                  
[0168/0805] saving model.layers.20.input_layernorm.weight
                                                                  
[0169/0805] saving model.layers.20.mlp.down_proj.q_weight
                                                                  
[0170/0805] saving model.layers.20.mlp.down_proj.q_scale
                                                                  
[0171/0805] saving model.layers.20.mlp.gate_up_proj.q_weight
                                                                  
[0172/0805] saving model.layers.20.mlp.gate_up_proj.q_scale
                                                                  
[0173/0805] saving model.layers.20.post_attention_layernorm.weight
                                                                  
[0174/0805] saving model.layers.20.self_attn.qkv_proj.q_weight
                                                                  
[0175/0805] saving model.layers.20.self_attn.qkv_proj.q_scale
                                                                  
[0176/0805] saving model.layers.20.self_attn.o_proj.q_weight
                                                                  
[0177/0805] saving model.layers.20.self_attn.o_proj.q_scale
                                                                  
[0178/0805] saving model.layers.21.input_layernorm.weight
                                                                  
[0179/0805] saving model.layers.21.mlp.down_proj.q_weight
                                                                  
[0180/0805] saving model.layers.21.mlp.down_proj.q_scale
                                                                  
[0181/0805] saving model.layers.21.mlp.gate_up_proj.q_weight
                                                                  
[0182/0805] saving model.layers.21.mlp.gate_up_proj.q_scale
                                                                  
[0183/0805] saving model.layers.21.post_attention_layernorm.weight
                                                                  
[0184/0805] saving model.layers.21.self_attn.qkv_proj.q_weight
                                                                  
[0185/0805] saving model.layers.21.self_attn.qkv_proj.q_scale
                                                                  
[0186/0805] saving model.layers.21.self_attn.o_proj.q_weight
                                                                  
[0187/0805] saving model.layers.21.self_attn.o_proj.q_scale
                                                                  
[0188/0805] saving model.layers.22.self_attn.qkv_proj.q_weight
                                                                  
[0189/0805] saving model.layers.22.self_attn.qkv_proj.q_scale
                                                                  
[0190/0805] saving model.layers.2.input_layernorm.weight
                                                                  
[0191/0805] saving model.layers.2.mlp.down_proj.q_weight
                                                                  
[0192/0805] saving model.layers.2.mlp.down_proj.q_scale
                                                                  
[0193/0805] saving model.layers.2.post_attention_layernorm.weight
                                                                  
[0194/0805] saving model.layers.3.input_layernorm.weight
                                                                  
[0195/0805] saving model.layers.3.mlp.down_proj.q_weight
                                                                  
[0196/0805] saving model.layers.3.mlp.down_proj.q_scale
                                                                  
[0197/0805] saving model.layers.3.mlp.gate_up_proj.q_weight
                                                                  
[0198/0805] saving model.layers.3.mlp.gate_up_proj.q_scale
                                                                  
[0199/0805] saving model.layers.3.post_attention_layernorm.weight
                                                                  
[0200/0805] saving model.layers.3.self_attn.qkv_proj.q_weight
                                                                  
[0201/0805] saving model.layers.3.self_attn.qkv_proj.q_scale
                                                                  
[0202/0805] saving model.layers.3.self_attn.o_proj.q_weight
                                                                  
[0203/0805] saving model.layers.3.self_attn.o_proj.q_scale
                                                                  
[0204/0805] saving model.layers.4.input_layernorm.weight
                                                                  
[0205/0805] saving model.layers.4.mlp.down_proj.q_weight
                                                                  
[0206/0805] saving model.layers.4.mlp.down_proj.q_scale
                                                                  
[0207/0805] saving model.layers.4.mlp.gate_up_proj.q_weight
                                                                  
[0208/0805] saving model.layers.4.mlp.gate_up_proj.q_scale
                                                                  
[0209/0805] saving model.layers.4.post_attention_layernorm.weight
                                                                  
[0210/0805] saving model.layers.4.self_attn.qkv_proj.q_weight
                                                                  
[0211/0805] saving model.layers.4.self_attn.qkv_proj.q_scale
                                                                  
[0212/0805] saving model.layers.4.self_attn.o_proj.q_weight
                                                                  
[0213/0805] saving model.layers.4.self_attn.o_proj.q_scale
                                                                  
[0214/0805] saving model.layers.5.self_attn.qkv_proj.q_weight
                                                                  
[0215/0805] saving model.layers.5.self_attn.qkv_proj.q_scale
                                                                  
[0216/0805] saving model.layers.5.self_attn.o_proj.q_weight
                                                                  
[0217/0805] saving model.layers.5.self_attn.o_proj.q_scale
                                                                  
[0218/0805] saving model.layers.22.input_layernorm.weight
                                                                  
[0219/0805] saving model.layers.22.mlp.down_proj.q_weight
                                                                  
[0220/0805] saving model.layers.22.mlp.down_proj.q_scale
                                                                  
[0221/0805] saving model.layers.22.mlp.gate_up_proj.q_weight
                                                                  
[0222/0805] saving model.layers.22.mlp.gate_up_proj.q_scale
                                                                  
[0223/0805] saving model.layers.22.post_attention_layernorm.weight
                                                                  
[0224/0805] saving model.layers.22.self_attn.o_proj.q_weight
                                                                  
[0225/0805] saving model.layers.22.self_attn.o_proj.q_scale
                                                                  
[0226/0805] saving model.layers.23.input_layernorm.weight
                                                                  
[0227/0805] saving model.layers.23.mlp.down_proj.q_weight
                                                                  
[0228/0805] saving model.layers.23.mlp.down_proj.q_scale
                                                                  
[0229/0805] saving model.layers.23.mlp.gate_up_proj.q_weight
                                                                  
[0230/0805] saving model.layers.23.mlp.gate_up_proj.q_scale
                                                                  
[0231/0805] saving model.layers.23.post_attention_layernorm.weight
                                                                  
[0232/0805] saving model.layers.23.self_attn.qkv_proj.q_weight
                                                                  
[0233/0805] saving model.layers.23.self_attn.qkv_proj.q_scale
                                                                  
[0234/0805] saving model.layers.23.self_attn.o_proj.q_weight
                                                                  
[0235/0805] saving model.layers.23.self_attn.o_proj.q_scale
                                                                  
[0236/0805] saving model.layers.24.input_layernorm.weight
                                                                  
[0237/0805] saving model.layers.24.mlp.down_proj.q_weight
                                                                  
[0238/0805] saving model.layers.24.mlp.down_proj.q_scale
                                                                  
[0239/0805] saving model.layers.24.mlp.gate_up_proj.q_weight
                                                                  
[0240/0805] saving model.layers.24.mlp.gate_up_proj.q_scale
                                                                  
[0241/0805] saving model.layers.24.post_attention_layernorm.weight
                                                                  
[0242/0805] saving model.layers.24.self_attn.qkv_proj.q_weight
                                                                  
[0243/0805] saving model.layers.24.self_attn.qkv_proj.q_scale
                                                                  
[0244/0805] saving model.layers.24.self_attn.o_proj.q_weight
                                                                  
[0245/0805] saving model.layers.24.self_attn.o_proj.q_scale
                                                                  
[0246/0805] saving model.layers.25.input_layernorm.weight
                                                                  
[0247/0805] saving model.layers.25.mlp.down_proj.q_weight
                                                                  
[0248/0805] saving model.layers.25.mlp.down_proj.q_scale
                                                                  
[0249/0805] saving model.layers.25.mlp.gate_up_proj.q_weight
                                                                  
[0250/0805] saving model.layers.25.mlp.gate_up_proj.q_scale
                                                                  
[0251/0805] saving model.layers.25.post_attention_layernorm.weight
                                                                  
[0252/0805] saving model.layers.25.self_attn.qkv_proj.q_weight
                                                                  
[0253/0805] saving model.layers.25.self_attn.qkv_proj.q_scale
                                                                  
[0254/0805] saving model.layers.25.self_attn.o_proj.q_weight
                                                                  
[0255/0805] saving model.layers.25.self_attn.o_proj.q_scale
                                                                  
[0256/0805] saving model.layers.26.input_layernorm.weight
                                                                  
[0257/0805] saving model.layers.26.mlp.down_proj.q_weight
                                                                  
[0258/0805] saving model.layers.26.mlp.down_proj.q_scale
                                                                  
[0259/0805] saving model.layers.26.mlp.gate_up_proj.q_weight
                                                                  
[0260/0805] saving model.layers.26.mlp.gate_up_proj.q_scale
                                                                  
[0261/0805] saving model.layers.26.post_attention_layernorm.weight
                                                                  
[0262/0805] saving model.layers.26.self_attn.qkv_proj.q_weight
                                                                  
[0263/0805] saving model.layers.26.self_attn.qkv_proj.q_scale
                                                                  
[0264/0805] saving model.layers.26.self_attn.o_proj.q_weight
                                                                  
[0265/0805] saving model.layers.26.self_attn.o_proj.q_scale
                                                                  
[0266/0805] saving model.layers.27.mlp.gate_up_proj.q_weight
                                                                  
[0267/0805] saving model.layers.27.mlp.gate_up_proj.q_scale
                                                                  
[0268/0805] saving model.layers.27.self_attn.qkv_proj.q_weight
                                                                  
[0269/0805] saving model.layers.27.self_attn.qkv_proj.q_scale
                                                                  
[0270/0805] saving model.layers.27.self_attn.o_proj.q_weight
                                                                  
[0271/0805] saving model.layers.27.self_attn.o_proj.q_scale
                                                                  
[0272/0805] saving model.layers.27.input_layernorm.weight
                                                                  
[0273/0805] saving model.layers.27.mlp.down_proj.q_weight
                                                                  
[0274/0805] saving model.layers.27.mlp.down_proj.q_scale
                                                                  
[0275/0805] saving model.layers.27.post_attention_layernorm.weight
                                                                  
[0276/0805] saving model.layers.28.input_layernorm.weight
                                                                  
[0277/0805] saving model.layers.28.mlp.down_proj.q_weight
                                                                  
[0278/0805] saving model.layers.28.mlp.down_proj.q_scale
                                                                  
[0279/0805] saving model.layers.28.mlp.gate_up_proj.q_weight
                                                                  
[0280/0805] saving model.layers.28.mlp.gate_up_proj.q_scale
                                                                  
[0281/0805] saving model.layers.28.post_attention_layernorm.weight
                                                                  
[0282/0805] saving model.layers.28.self_attn.qkv_proj.q_weight
                                                                  
[0283/0805] saving model.layers.28.self_attn.qkv_proj.q_scale
                                                                  
[0284/0805] saving model.layers.28.self_attn.o_proj.q_weight
                                                                  
[0285/0805] saving model.layers.28.self_attn.o_proj.q_scale
                                                                  
[0286/0805] saving model.layers.29.input_layernorm.weight
                                                                  
[0287/0805] saving model.layers.29.mlp.down_proj.q_weight
                                                                  
[0288/0805] saving model.layers.29.mlp.down_proj.q_scale
                                                                  
[0289/0805] saving model.layers.29.mlp.gate_up_proj.q_weight
                                                                  
[0290/0805] saving model.layers.29.mlp.gate_up_proj.q_scale
                                                                  
[0291/0805] saving model.layers.29.post_attention_layernorm.weight
                                                                  
[0292/0805] saving model.layers.29.self_attn.qkv_proj.q_weight
                                                                  
[0293/0805] saving model.layers.29.self_attn.qkv_proj.q_scale
                                                                  
[0294/0805] saving model.layers.29.self_attn.o_proj.q_weight
                                                                  
[0295/0805] saving model.layers.29.self_attn.o_proj.q_scale
                                                                  
[0296/0805] saving model.layers.30.mlp.gate_up_proj.q_weight
                                                                  
[0297/0805] saving model.layers.30.mlp.gate_up_proj.q_scale
                                                                  
[0298/0805] saving model.layers.30.self_attn.qkv_proj.q_weight
                                                                  
[0299/0805] saving model.layers.30.self_attn.qkv_proj.q_scale
                                                                  
[0300/0805] saving model.layers.30.self_attn.o_proj.q_weight
                                                                  
[0301/0805] saving model.layers.30.self_attn.o_proj.q_scale
                                                                  
[0302/0805] saving model.layers.30.input_layernorm.weight
                                                                  
[0303/0805] saving model.layers.30.mlp.down_proj.q_weight
                                                                  
[0304/0805] saving model.layers.30.mlp.down_proj.q_scale
                                                                  
[0305/0805] saving model.layers.30.post_attention_layernorm.weight
                                                                  
[0306/0805] saving model.layers.31.input_layernorm.weight
                                                                  
[0307/0805] saving model.layers.31.mlp.down_proj.q_weight
                                                                  
[0308/0805] saving model.layers.31.mlp.down_proj.q_scale
                                                                  
[0309/0805] saving model.layers.31.mlp.gate_up_proj.q_weight
                                                                  
[0310/0805] saving model.layers.31.mlp.gate_up_proj.q_scale
                                                                  
[0311/0805] saving model.layers.31.post_attention_layernorm.weight
                                                                  
[0312/0805] saving model.layers.31.self_attn.qkv_proj.q_weight
                                                                  
[0313/0805] saving model.layers.31.self_attn.qkv_proj.q_scale
                                                                  
[0314/0805] saving model.layers.31.self_attn.o_proj.q_weight
                                                                  
[0315/0805] saving model.layers.31.self_attn.o_proj.q_scale
                                                                  
[0316/0805] saving model.layers.32.input_layernorm.weight
                                                                  
[0317/0805] saving model.layers.32.mlp.down_proj.q_weight
                                                                  
[0318/0805] saving model.layers.32.mlp.down_proj.q_scale
                                                                  
[0319/0805] saving model.layers.32.mlp.gate_up_proj.q_weight
                                                                  
[0320/0805] saving model.layers.32.mlp.gate_up_proj.q_scale
                                                                  
[0321/0805] saving model.layers.32.post_attention_layernorm.weight
                                                                  
[0322/0805] saving model.layers.32.self_attn.qkv_proj.q_weight
                                                                  
[0323/0805] saving model.layers.32.self_attn.qkv_proj.q_scale
                                                                  
[0324/0805] saving model.layers.32.self_attn.o_proj.q_weight
                                                                  
[0325/0805] saving model.layers.32.self_attn.o_proj.q_scale
                                                                  
[0326/0805] saving model.layers.33.self_attn.qkv_proj.q_weight
                                                                  
[0327/0805] saving model.layers.33.self_attn.qkv_proj.q_scale
                                                                  
[0328/0805] saving model.layers.33.self_attn.o_proj.q_weight
                                                                  
[0329/0805] saving model.layers.33.self_attn.o_proj.q_scale
                                                                  
[0330/0805] saving model.layers.33.input_layernorm.weight
                                                                  
[0331/0805] saving model.layers.33.mlp.down_proj.q_weight
                                                                  
[0332/0805] saving model.layers.33.mlp.down_proj.q_scale
                                                                  
[0333/0805] saving model.layers.33.mlp.gate_up_proj.q_weight
                                                                  
[0334/0805] saving model.layers.33.mlp.gate_up_proj.q_scale
                                                                  
[0335/0805] saving model.layers.33.post_attention_layernorm.weight
                                                                  
[0336/0805] saving model.layers.34.input_layernorm.weight
                                                                  
[0337/0805] saving model.layers.34.mlp.down_proj.q_weight
                                                                  
[0338/0805] saving model.layers.34.mlp.down_proj.q_scale
                                                                  
[0339/0805] saving model.layers.34.mlp.gate_up_proj.q_weight
                                                                  
[0340/0805] saving model.layers.34.mlp.gate_up_proj.q_scale
                                                                  
[0341/0805] saving model.layers.34.post_attention_layernorm.weight
                                                                  
[0342/0805] saving model.layers.34.self_attn.qkv_proj.q_weight
                                                                  
[0343/0805] saving model.layers.34.self_attn.qkv_proj.q_scale
                                                                  
[0344/0805] saving model.layers.34.self_attn.o_proj.q_weight
                                                                  
[0345/0805] saving model.layers.34.self_attn.o_proj.q_scale
                                                                  
[0346/0805] saving model.layers.35.input_layernorm.weight
                                                                  
[0347/0805] saving model.layers.35.mlp.down_proj.q_weight
                                                                  
[0348/0805] saving model.layers.35.mlp.down_proj.q_scale
                                                                  
[0349/0805] saving model.layers.35.mlp.gate_up_proj.q_weight
                                                                  
[0350/0805] saving model.layers.35.mlp.gate_up_proj.q_scale
                                                                  
[0351/0805] saving model.layers.35.post_attention_layernorm.weight
                                                                  
[0352/0805] saving model.layers.35.self_attn.qkv_proj.q_weight
                                                                  
[0353/0805] saving model.layers.35.self_attn.qkv_proj.q_scale
                                                                  
[0354/0805] saving model.layers.35.self_attn.o_proj.q_weight
                                                                  
[0355/0805] saving model.layers.35.self_attn.o_proj.q_scale
                                                                  
[0356/0805] saving model.layers.36.self_attn.qkv_proj.q_weight
                                                                  
[0357/0805] saving model.layers.36.self_attn.qkv_proj.q_scale
                                                                  
[0358/0805] saving model.layers.36.input_layernorm.weight
                                                                  
[0359/0805] saving model.layers.36.mlp.down_proj.q_weight
                                                                  
[0360/0805] saving model.layers.36.mlp.down_proj.q_scale
                                                                  
[0361/0805] saving model.layers.36.mlp.gate_up_proj.q_weight
                                                                  
[0362/0805] saving model.layers.36.mlp.gate_up_proj.q_scale
                                                                  
[0363/0805] saving model.layers.36.post_attention_layernorm.weight
                                                                  
[0364/0805] saving model.layers.36.self_attn.o_proj.q_weight
                                                                  
[0365/0805] saving model.layers.36.self_attn.o_proj.q_scale
                                                                  
[0366/0805] saving model.layers.37.input_layernorm.weight
                                                                  
[0367/0805] saving model.layers.37.mlp.down_proj.q_weight
                                                                  
[0368/0805] saving model.layers.37.mlp.down_proj.q_scale
                                                                  
[0369/0805] saving model.layers.37.mlp.gate_up_proj.q_weight
                                                                  
[0370/0805] saving model.layers.37.mlp.gate_up_proj.q_scale
                                                                  
[0371/0805] saving model.layers.37.post_attention_layernorm.weight
                                                                  
[0372/0805] saving model.layers.37.self_attn.qkv_proj.q_weight
                                                                  
[0373/0805] saving model.layers.37.self_attn.qkv_proj.q_scale
                                                                  
[0374/0805] saving model.layers.37.self_attn.o_proj.q_weight
                                                                  
[0375/0805] saving model.layers.37.self_attn.o_proj.q_scale
                                                                  
[0376/0805] saving model.layers.38.input_layernorm.weight
                                                                  
[0377/0805] saving model.layers.38.mlp.down_proj.q_weight
                                                                  
[0378/0805] saving model.layers.38.mlp.down_proj.q_scale
                                                                  
[0379/0805] saving model.layers.38.mlp.gate_up_proj.q_weight
                                                                  
[0380/0805] saving model.layers.38.mlp.gate_up_proj.q_scale
                                                                  
[0381/0805] saving model.layers.38.post_attention_layernorm.weight
                                                                  
[0382/0805] saving model.layers.38.self_attn.qkv_proj.q_weight
                                                                  
[0383/0805] saving model.layers.38.self_attn.qkv_proj.q_scale
                                                                  
[0384/0805] saving model.layers.38.self_attn.o_proj.q_weight
                                                                  
[0385/0805] saving model.layers.38.self_attn.o_proj.q_scale
                                                                  
[0386/0805] saving model.layers.39.input_layernorm.weight
                                                                  
[0387/0805] saving model.layers.39.mlp.down_proj.q_weight
                                                                  
[0388/0805] saving model.layers.39.mlp.down_proj.q_scale
                                                                  
[0389/0805] saving model.layers.39.mlp.gate_up_proj.q_weight
                                                                  
[0390/0805] saving model.layers.39.mlp.gate_up_proj.q_scale
                                                                  
[0391/0805] saving model.layers.39.post_attention_layernorm.weight
                                                                  
[0392/0805] saving model.layers.39.self_attn.qkv_proj.q_weight
                                                                  
[0393/0805] saving model.layers.39.self_attn.qkv_proj.q_scale
                                                                  
[0394/0805] saving model.layers.39.self_attn.o_proj.q_weight
                                                                  
[0395/0805] saving model.layers.39.self_attn.o_proj.q_scale
                                                                  
[0396/0805] saving model.layers.40.input_layernorm.weight
                                                                  
[0397/0805] saving model.layers.40.mlp.down_proj.q_weight
                                                                  
[0398/0805] saving model.layers.40.mlp.down_proj.q_scale
                                                                  
[0399/0805] saving model.layers.40.mlp.gate_up_proj.q_weight
                                                                  
[0400/0805] saving model.layers.40.mlp.gate_up_proj.q_scale
                                                                  
[0401/0805] saving model.layers.40.post_attention_layernorm.weight
                                                                  
[0402/0805] saving model.layers.40.self_attn.qkv_proj.q_weight
                                                                  
[0403/0805] saving model.layers.40.self_attn.qkv_proj.q_scale
                                                                  
[0404/0805] saving model.layers.40.self_attn.o_proj.q_weight
                                                                  
[0405/0805] saving model.layers.40.self_attn.o_proj.q_scale
                                                                  
[0406/0805] saving model.layers.41.mlp.gate_up_proj.q_weight
                                                                  
[0407/0805] saving model.layers.41.mlp.gate_up_proj.q_scale
                                                                  
[0408/0805] saving model.layers.41.self_attn.qkv_proj.q_weight
                                                                  
[0409/0805] saving model.layers.41.self_attn.qkv_proj.q_scale
                                                                  
[0410/0805] saving model.layers.41.self_attn.o_proj.q_weight
                                                                  
[0411/0805] saving model.layers.41.self_attn.o_proj.q_scale
                                                                  
[0412/0805] saving model.layers.41.input_layernorm.weight
                                                                  
[0413/0805] saving model.layers.41.mlp.down_proj.q_weight
                                                                  
[0414/0805] saving model.layers.41.mlp.down_proj.q_scale
                                                                  
[0415/0805] saving model.layers.41.post_attention_layernorm.weight
                                                                  
[0416/0805] saving model.layers.42.input_layernorm.weight
                                                                  
[0417/0805] saving model.layers.42.mlp.down_proj.q_weight
                                                                  
[0418/0805] saving model.layers.42.mlp.down_proj.q_scale
                                                                  
[0419/0805] saving model.layers.42.mlp.gate_up_proj.q_weight
                                                                  
[0420/0805] saving model.layers.42.mlp.gate_up_proj.q_scale
                                                                  
[0421/0805] saving model.layers.42.post_attention_layernorm.weight
                                                                  
[0422/0805] saving model.layers.42.self_attn.qkv_proj.q_weight
                                                                  
[0423/0805] saving model.layers.42.self_attn.qkv_proj.q_scale
                                                                  
[0424/0805] saving model.layers.42.self_attn.o_proj.q_weight
                                                                  
[0425/0805] saving model.layers.42.self_attn.o_proj.q_scale
                                                                  
[0426/0805] saving model.layers.43.input_layernorm.weight
                                                                  
[0427/0805] saving model.layers.43.mlp.down_proj.q_weight
                                                                  
[0428/0805] saving model.layers.43.mlp.down_proj.q_scale
                                                                  
[0429/0805] saving model.layers.43.mlp.gate_up_proj.q_weight
                                                                  
[0430/0805] saving model.layers.43.mlp.gate_up_proj.q_scale
                                                                  
[0431/0805] saving model.layers.43.post_attention_layernorm.weight
                                                                  
[0432/0805] saving model.layers.43.self_attn.qkv_proj.q_weight
                                                                  
[0433/0805] saving model.layers.43.self_attn.qkv_proj.q_scale
                                                                  
[0434/0805] saving model.layers.43.self_attn.o_proj.q_weight
                                                                  
[0435/0805] saving model.layers.43.self_attn.o_proj.q_scale
                                                                  
[0436/0805] saving model.layers.44.mlp.gate_up_proj.q_weight
                                                                  
[0437/0805] saving model.layers.44.mlp.gate_up_proj.q_scale
                                                                  
[0438/0805] saving model.layers.44.self_attn.qkv_proj.q_weight
                                                                  
[0439/0805] saving model.layers.44.self_attn.qkv_proj.q_scale
                                                                  
[0440/0805] saving model.layers.44.self_attn.o_proj.q_weight
                                                                  
[0441/0805] saving model.layers.44.self_attn.o_proj.q_scale
                                                                  
[0442/0805] saving model.layers.44.input_layernorm.weight
                                                                  
[0443/0805] saving model.layers.44.mlp.down_proj.q_weight
                                                                  
[0444/0805] saving model.layers.44.mlp.down_proj.q_scale
                                                                  
[0445/0805] saving model.layers.44.post_attention_layernorm.weight
                                                                  
[0446/0805] saving model.layers.45.input_layernorm.weight
                                                                  
[0447/0805] saving model.layers.45.mlp.down_proj.q_weight
                                                                  
[0448/0805] saving model.layers.45.mlp.down_proj.q_scale
                                                                  
[0449/0805] saving model.layers.45.mlp.gate_up_proj.q_weight
                                                                  
[0450/0805] saving model.layers.45.mlp.gate_up_proj.q_scale
                                                                  
[0451/0805] saving model.layers.45.post_attention_layernorm.weight
                                                                  
[0452/0805] saving model.layers.45.self_attn.qkv_proj.q_weight
                                                                  
[0453/0805] saving model.layers.45.self_attn.qkv_proj.q_scale
                                                                  
[0454/0805] saving model.layers.45.self_attn.o_proj.q_weight
                                                                  
[0455/0805] saving model.layers.45.self_attn.o_proj.q_scale
                                                                  
[0456/0805] saving model.layers.46.input_layernorm.weight
                                                                  
[0457/0805] saving model.layers.46.mlp.down_proj.q_weight
                                                                  
[0458/0805] saving model.layers.46.mlp.down_proj.q_scale
                                                                  
[0459/0805] saving model.layers.46.mlp.gate_up_proj.q_weight
                                                                  
[0460/0805] saving model.layers.46.mlp.gate_up_proj.q_scale
                                                                  
[0461/0805] saving model.layers.46.post_attention_layernorm.weight
                                                                  
[0462/0805] saving model.layers.46.self_attn.qkv_proj.q_weight
                                                                  
[0463/0805] saving model.layers.46.self_attn.qkv_proj.q_scale
                                                                  
[0464/0805] saving model.layers.46.self_attn.o_proj.q_weight
                                                                  
[0465/0805] saving model.layers.46.self_attn.o_proj.q_scale
                                                                  
[0466/0805] saving model.layers.47.self_attn.qkv_proj.q_weight
                                                                  
[0467/0805] saving model.layers.47.self_attn.qkv_proj.q_scale
                                                                  
[0468/0805] saving model.layers.47.self_attn.o_proj.q_weight
                                                                  
[0469/0805] saving model.layers.47.self_attn.o_proj.q_scale
                                                                  
[0470/0805] saving model.layers.47.input_layernorm.weight
                                                                  
[0471/0805] saving model.layers.47.mlp.down_proj.q_weight
                                                                  
[0472/0805] saving model.layers.47.mlp.down_proj.q_scale
                                                                  
[0473/0805] saving model.layers.47.mlp.gate_up_proj.q_weight
                                                                  
[0474/0805] saving model.layers.47.mlp.gate_up_proj.q_scale
                                                                  
[0475/0805] saving model.layers.47.post_attention_layernorm.weight
                                                                  
[0476/0805] saving model.layers.48.input_layernorm.weight
                                                                  
[0477/0805] saving model.layers.48.mlp.down_proj.q_weight
                                                                  
[0478/0805] saving model.layers.48.mlp.down_proj.q_scale
                                                                  
[0479/0805] saving model.layers.48.mlp.gate_up_proj.q_weight
                                                                  
[0480/0805] saving model.layers.48.mlp.gate_up_proj.q_scale
                                                                  
[0481/0805] saving model.layers.48.post_attention_layernorm.weight
                                                                  
[0482/0805] saving model.layers.48.self_attn.qkv_proj.q_weight
                                                                  
[0483/0805] saving model.layers.48.self_attn.qkv_proj.q_scale
                                                                  
[0484/0805] saving model.layers.48.self_attn.o_proj.q_weight
                                                                  
[0485/0805] saving model.layers.48.self_attn.o_proj.q_scale
                                                                  
[0486/0805] saving model.layers.49.input_layernorm.weight
                                                                  
[0487/0805] saving model.layers.49.mlp.down_proj.q_weight
                                                                  
[0488/0805] saving model.layers.49.mlp.down_proj.q_scale
                                                                  
[0489/0805] saving model.layers.49.mlp.gate_up_proj.q_weight
                                                                  
[0490/0805] saving model.layers.49.mlp.gate_up_proj.q_scale
                                                                  
[0491/0805] saving model.layers.49.post_attention_layernorm.weight
                                                                  
[0492/0805] saving model.layers.49.self_attn.qkv_proj.q_weight
                                                                  
[0493/0805] saving model.layers.49.self_attn.qkv_proj.q_scale
                                                                  
[0494/0805] saving model.layers.49.self_attn.o_proj.q_weight
                                                                  
[0495/0805] saving model.layers.49.self_attn.o_proj.q_scale
                                                                  
[0496/0805] saving model.layers.50.self_attn.qkv_proj.q_weight
                                                                  
[0497/0805] saving model.layers.50.self_attn.qkv_proj.q_scale
                                                                  
[0498/0805] saving model.layers.5.input_layernorm.weight
                                                                  
[0499/0805] saving model.layers.5.mlp.down_proj.q_weight
                                                                  
[0500/0805] saving model.layers.5.mlp.down_proj.q_scale
                                                                  
[0501/0805] saving model.layers.5.mlp.gate_up_proj.q_weight
                                                                  
[0502/0805] saving model.layers.5.mlp.gate_up_proj.q_scale
                                                                  
[0503/0805] saving model.layers.5.post_attention_layernorm.weight
                                                                  
[0504/0805] saving model.layers.6.input_layernorm.weight
                                                                  
[0505/0805] saving model.layers.6.mlp.down_proj.q_weight
                                                                  
[0506/0805] saving model.layers.6.mlp.down_proj.q_scale
                                                                  
[0507/0805] saving model.layers.6.mlp.gate_up_proj.q_weight
                                                                  
[0508/0805] saving model.layers.6.mlp.gate_up_proj.q_scale
                                                                  
[0509/0805] saving model.layers.6.post_attention_layernorm.weight
                                                                  
[0510/0805] saving model.layers.6.self_attn.qkv_proj.q_weight
                                                                  
[0511/0805] saving model.layers.6.self_attn.qkv_proj.q_scale
                                                                  
[0512/0805] saving model.layers.6.self_attn.o_proj.q_weight
                                                                  
[0513/0805] saving model.layers.6.self_attn.o_proj.q_scale
                                                                  
[0514/0805] saving model.layers.7.input_layernorm.weight
                                                                  
[0515/0805] saving model.layers.7.mlp.down_proj.q_weight
                                                                  
[0516/0805] saving model.layers.7.mlp.down_proj.q_scale
                                                                  
[0517/0805] saving model.layers.7.mlp.gate_up_proj.q_weight
                                                                  
[0518/0805] saving model.layers.7.mlp.gate_up_proj.q_scale
                                                                  
[0519/0805] saving model.layers.7.post_attention_layernorm.weight
                                                                  
[0520/0805] saving model.layers.7.self_attn.qkv_proj.q_weight
                                                                  
[0521/0805] saving model.layers.7.self_attn.qkv_proj.q_scale
                                                                  
[0522/0805] saving model.layers.7.self_attn.o_proj.q_weight
                                                                  
[0523/0805] saving model.layers.7.self_attn.o_proj.q_scale
                                                                  
[0524/0805] saving model.layers.8.self_attn.qkv_proj.q_weight
                                                                  
[0525/0805] saving model.layers.8.self_attn.qkv_proj.q_scale
                                                                  
[0526/0805] saving model.layers.50.input_layernorm.weight
                                                                  
[0527/0805] saving model.layers.50.mlp.down_proj.q_weight
                                                                  
[0528/0805] saving model.layers.50.mlp.down_proj.q_scale
                                                                  
[0529/0805] saving model.layers.50.mlp.gate_up_proj.q_weight
                                                                  
[0530/0805] saving model.layers.50.mlp.gate_up_proj.q_scale
                                                                  
[0531/0805] saving model.layers.50.post_attention_layernorm.weight
                                                                  
[0532/0805] saving model.layers.50.self_attn.o_proj.q_weight
                                                                  
[0533/0805] saving model.layers.50.self_attn.o_proj.q_scale
                                                                  
[0534/0805] saving model.layers.51.input_layernorm.weight
                                                                  
[0535/0805] saving model.layers.51.mlp.down_proj.q_weight
                                                                  
[0536/0805] saving model.layers.51.mlp.down_proj.q_scale
                                                                  
[0537/0805] saving model.layers.51.mlp.gate_up_proj.q_weight
                                                                  
[0538/0805] saving model.layers.51.mlp.gate_up_proj.q_scale
                                                                  
[0539/0805] saving model.layers.51.post_attention_layernorm.weight
                                                                  
[0540/0805] saving model.layers.51.self_attn.qkv_proj.q_weight
                                                                  
[0541/0805] saving model.layers.51.self_attn.qkv_proj.q_scale
                                                                  
[0542/0805] saving model.layers.51.self_attn.o_proj.q_weight
                                                                  
[0543/0805] saving model.layers.51.self_attn.o_proj.q_scale
                                                                  
[0544/0805] saving model.layers.52.input_layernorm.weight
                                                                  
[0545/0805] saving model.layers.52.mlp.down_proj.q_weight
                                                                  
[0546/0805] saving model.layers.52.mlp.down_proj.q_scale
                                                                  
[0547/0805] saving model.layers.52.mlp.gate_up_proj.q_weight
                                                                  
[0548/0805] saving model.layers.52.mlp.gate_up_proj.q_scale
                                                                  
[0549/0805] saving model.layers.52.post_attention_layernorm.weight
                                                                  
[0550/0805] saving model.layers.52.self_attn.qkv_proj.q_weight
                                                                  
[0551/0805] saving model.layers.52.self_attn.qkv_proj.q_scale
                                                                  
[0552/0805] saving model.layers.52.self_attn.o_proj.q_weight
                                                                  
[0553/0805] saving model.layers.52.self_attn.o_proj.q_scale
                                                                  
[0554/0805] saving model.layers.53.input_layernorm.weight
                                                                  
[0555/0805] saving model.layers.53.mlp.down_proj.q_weight
                                                                  
[0556/0805] saving model.layers.53.mlp.down_proj.q_scale
                                                                  
[0557/0805] saving model.layers.53.mlp.gate_up_proj.q_weight
                                                                  
[0558/0805] saving model.layers.53.mlp.gate_up_proj.q_scale
                                                                  
[0559/0805] saving model.layers.53.post_attention_layernorm.weight
                                                                  
[0560/0805] saving model.layers.53.self_attn.qkv_proj.q_weight
                                                                  
[0561/0805] saving model.layers.53.self_attn.qkv_proj.q_scale
                                                                  
[0562/0805] saving model.layers.53.self_attn.o_proj.q_weight
                                                                  
[0563/0805] saving model.layers.53.self_attn.o_proj.q_scale
                                                                  
[0564/0805] saving model.layers.54.input_layernorm.weight
                                                                  
[0565/0805] saving model.layers.54.mlp.down_proj.q_weight
                                                                  
[0566/0805] saving model.layers.54.mlp.down_proj.q_scale
                                                                  
[0567/0805] saving model.layers.54.mlp.gate_up_proj.q_weight
                                                                  
[0568/0805] saving model.layers.54.mlp.gate_up_proj.q_scale
                                                                  
[0569/0805] saving model.layers.54.post_attention_layernorm.weight
                                                                  
[0570/0805] saving model.layers.54.self_attn.qkv_proj.q_weight
                                                                  
[0571/0805] saving model.layers.54.self_attn.qkv_proj.q_scale
                                                                  
[0572/0805] saving model.layers.54.self_attn.o_proj.q_weight
                                                                  
[0573/0805] saving model.layers.54.self_attn.o_proj.q_scale
                                                                  
[0574/0805] saving model.layers.55.mlp.gate_up_proj.q_weight
                                                                  
[0575/0805] saving model.layers.55.mlp.gate_up_proj.q_scale
                                                                  
[0576/0805] saving model.layers.55.self_attn.qkv_proj.q_weight
                                                                  
[0577/0805] saving model.layers.55.self_attn.qkv_proj.q_scale
                                                                  
[0578/0805] saving model.layers.55.self_attn.o_proj.q_weight
                                                                  
[0579/0805] saving model.layers.55.self_attn.o_proj.q_scale
                                                                  
[0580/0805] saving model.layers.55.input_layernorm.weight
                                                                  
[0581/0805] saving model.layers.55.mlp.down_proj.q_weight
                                                                  
[0582/0805] saving model.layers.55.mlp.down_proj.q_scale
                                                                  
[0583/0805] saving model.layers.55.post_attention_layernorm.weight
                                                                  
[0584/0805] saving model.layers.56.input_layernorm.weight
                                                                  
[0585/0805] saving model.layers.56.mlp.down_proj.q_weight
                                                                  
[0586/0805] saving model.layers.56.mlp.down_proj.q_scale
                                                                  
[0587/0805] saving model.layers.56.mlp.gate_up_proj.q_weight
                                                                  
[0588/0805] saving model.layers.56.mlp.gate_up_proj.q_scale
                                                                  
[0589/0805] saving model.layers.56.post_attention_layernorm.weight
                                                                  
[0590/0805] saving model.layers.56.self_attn.qkv_proj.q_weight
                                                                  
[0591/0805] saving model.layers.56.self_attn.qkv_proj.q_scale
                                                                  
[0592/0805] saving model.layers.56.self_attn.o_proj.q_weight
                                                                  
[0593/0805] saving model.layers.56.self_attn.o_proj.q_scale
                                                                  
[0594/0805] saving model.layers.57.input_layernorm.weight
                                                                  
[0595/0805] saving model.layers.57.mlp.down_proj.q_weight
                                                                  
[0596/0805] saving model.layers.57.mlp.down_proj.q_scale
                                                                  
[0597/0805] saving model.layers.57.mlp.gate_up_proj.q_weight
                                                                  
[0598/0805] saving model.layers.57.mlp.gate_up_proj.q_scale
                                                                  
[0599/0805] saving model.layers.57.post_attention_layernorm.weight
                                                                  
[0600/0805] saving model.layers.57.self_attn.qkv_proj.q_weight
                                                                  
[0601/0805] saving model.layers.57.self_attn.qkv_proj.q_scale
                                                                  
[0602/0805] saving model.layers.57.self_attn.o_proj.q_weight
                                                                  
[0603/0805] saving model.layers.57.self_attn.o_proj.q_scale
                                                                  
[0604/0805] saving model.layers.58.mlp.gate_up_proj.q_weight
                                                                  
[0605/0805] saving model.layers.58.mlp.gate_up_proj.q_scale
                                                                  
[0606/0805] saving model.layers.58.self_attn.qkv_proj.q_weight
                                                                  
[0607/0805] saving model.layers.58.self_attn.qkv_proj.q_scale
                                                                  
[0608/0805] saving model.layers.58.self_attn.o_proj.q_weight
                                                                  
[0609/0805] saving model.layers.58.self_attn.o_proj.q_scale
                                                                  
[0610/0805] saving model.layers.58.input_layernorm.weight
                                                                  
[0611/0805] saving model.layers.58.mlp.down_proj.q_weight
                                                                  
[0612/0805] saving model.layers.58.mlp.down_proj.q_scale
                                                                  
[0613/0805] saving model.layers.58.post_attention_layernorm.weight
                                                                  
[0614/0805] saving model.layers.59.input_layernorm.weight
                                                                  
[0615/0805] saving model.layers.59.mlp.down_proj.q_weight
                                                                  
[0616/0805] saving model.layers.59.mlp.down_proj.q_scale
                                                                  
[0617/0805] saving model.layers.59.mlp.gate_up_proj.q_weight
                                                                  
[0618/0805] saving model.layers.59.mlp.gate_up_proj.q_scale
                                                                  
[0619/0805] saving model.layers.59.post_attention_layernorm.weight
                                                                  
[0620/0805] saving model.layers.59.self_attn.qkv_proj.q_weight
                                                                  
[0621/0805] saving model.layers.59.self_attn.qkv_proj.q_scale
                                                                  
[0622/0805] saving model.layers.59.self_attn.o_proj.q_weight
                                                                  
[0623/0805] saving model.layers.59.self_attn.o_proj.q_scale
                                                                  
[0624/0805] saving model.layers.60.input_layernorm.weight
                                                                  
[0625/0805] saving model.layers.60.mlp.down_proj.q_weight
                                                                  
[0626/0805] saving model.layers.60.mlp.down_proj.q_scale
                                                                  
[0627/0805] saving model.layers.60.mlp.gate_up_proj.q_weight
                                                                  
[0628/0805] saving model.layers.60.mlp.gate_up_proj.q_scale
                                                                  
[0629/0805] saving model.layers.60.post_attention_layernorm.weight
                                                                  
[0630/0805] saving model.layers.60.self_attn.qkv_proj.q_weight
                                                                  
[0631/0805] saving model.layers.60.self_attn.qkv_proj.q_scale
                                                                  
[0632/0805] saving model.layers.60.self_attn.o_proj.q_weight
                                                                  
[0633/0805] saving model.layers.60.self_attn.o_proj.q_scale
                                                                  
[0634/0805] saving model.layers.61.self_attn.qkv_proj.q_weight
                                                                  
[0635/0805] saving model.layers.61.self_attn.qkv_proj.q_scale
                                                                  
[0636/0805] saving model.layers.61.self_attn.o_proj.q_weight
                                                                  
[0637/0805] saving model.layers.61.self_attn.o_proj.q_scale
                                                                  
[0638/0805] saving model.layers.61.input_layernorm.weight
                                                                  
[0639/0805] saving model.layers.61.mlp.down_proj.q_weight
                                                                  
[0640/0805] saving model.layers.61.mlp.down_proj.q_scale
                                                                  
[0641/0805] saving model.layers.61.mlp.gate_up_proj.q_weight
                                                                  
[0642/0805] saving model.layers.61.mlp.gate_up_proj.q_scale
                                                                  
[0643/0805] saving model.layers.61.post_attention_layernorm.weight
                                                                  
[0644/0805] saving model.layers.62.input_layernorm.weight
                                                                  
[0645/0805] saving model.layers.62.mlp.down_proj.q_weight
                                                                  
[0646/0805] saving model.layers.62.mlp.down_proj.q_scale
                                                                  
[0647/0805] saving model.layers.62.mlp.gate_up_proj.q_weight
                                                                  
[0648/0805] saving model.layers.62.mlp.gate_up_proj.q_scale
                                                                  
[0649/0805] saving model.layers.62.post_attention_layernorm.weight
                                                                  
[0650/0805] saving model.layers.62.self_attn.qkv_proj.q_weight
                                                                  
[0651/0805] saving model.layers.62.self_attn.qkv_proj.q_scale
                                                                  
[0652/0805] saving model.layers.62.self_attn.o_proj.q_weight
                                                                  
[0653/0805] saving model.layers.62.self_attn.o_proj.q_scale
                                                                  
[0654/0805] saving model.layers.63.input_layernorm.weight
                                                                  
[0655/0805] saving model.layers.63.mlp.down_proj.q_weight
                                                                  
[0656/0805] saving model.layers.63.mlp.down_proj.q_scale
                                                                  
[0657/0805] saving model.layers.63.mlp.gate_up_proj.q_weight
                                                                  
[0658/0805] saving model.layers.63.mlp.gate_up_proj.q_scale
                                                                  
[0659/0805] saving model.layers.63.post_attention_layernorm.weight
                                                                  
[0660/0805] saving model.layers.63.self_attn.qkv_proj.q_weight
                                                                  
[0661/0805] saving model.layers.63.self_attn.qkv_proj.q_scale
                                                                  
[0662/0805] saving model.layers.63.self_attn.o_proj.q_weight
                                                                  
[0663/0805] saving model.layers.63.self_attn.o_proj.q_scale
                                                                  
[0664/0805] saving model.layers.64.self_attn.qkv_proj.q_weight
                                                                  
[0665/0805] saving model.layers.64.self_attn.qkv_proj.q_scale
                                                                  
[0666/0805] saving model.layers.64.input_layernorm.weight
                                                                  
[0667/0805] saving model.layers.64.mlp.down_proj.q_weight
                                                                  
[0668/0805] saving model.layers.64.mlp.down_proj.q_scale
                                                                  
[0669/0805] saving model.layers.64.mlp.gate_up_proj.q_weight
                                                                  
[0670/0805] saving model.layers.64.mlp.gate_up_proj.q_scale
                                                                  
[0671/0805] saving model.layers.64.post_attention_layernorm.weight
                                                                  
[0672/0805] saving model.layers.64.self_attn.o_proj.q_weight
                                                                  
[0673/0805] saving model.layers.64.self_attn.o_proj.q_scale
                                                                  
[0674/0805] saving model.layers.65.input_layernorm.weight
                                                                  
[0675/0805] saving model.layers.65.mlp.down_proj.q_weight
                                                                  
[0676/0805] saving model.layers.65.mlp.down_proj.q_scale
                                                                  
[0677/0805] saving model.layers.65.mlp.gate_up_proj.q_weight
                                                                  
[0678/0805] saving model.layers.65.mlp.gate_up_proj.q_scale
                                                                  
[0679/0805] saving model.layers.65.post_attention_layernorm.weight
                                                                  
[0680/0805] saving model.layers.65.self_attn.qkv_proj.q_weight
                                                                  
[0681/0805] saving model.layers.65.self_attn.qkv_proj.q_scale
                                                                  
[0682/0805] saving model.layers.65.self_attn.o_proj.q_weight
                                                                  
[0683/0805] saving model.layers.65.self_attn.o_proj.q_scale
                                                                  
[0684/0805] saving model.layers.66.input_layernorm.weight
                                                                  
[0685/0805] saving model.layers.66.mlp.down_proj.q_weight
                                                                  
[0686/0805] saving model.layers.66.mlp.down_proj.q_scale
                                                                  
[0687/0805] saving model.layers.66.mlp.gate_up_proj.q_weight
                                                                  
[0688/0805] saving model.layers.66.mlp.gate_up_proj.q_scale
                                                                  
[0689/0805] saving model.layers.66.post_attention_layernorm.weight
                                                                  
[0690/0805] saving model.layers.66.self_attn.qkv_proj.q_weight
                                                                  
[0691/0805] saving model.layers.66.self_attn.qkv_proj.q_scale
                                                                  
[0692/0805] saving model.layers.66.self_attn.o_proj.q_weight
                                                                  
[0693/0805] saving model.layers.66.self_attn.o_proj.q_scale
                                                                  
[0694/0805] saving model.layers.67.input_layernorm.weight
                                                                  
[0695/0805] saving model.layers.67.mlp.down_proj.q_weight
                                                                  
[0696/0805] saving model.layers.67.mlp.down_proj.q_scale
                                                                  
[0697/0805] saving model.layers.67.mlp.gate_up_proj.q_weight
                                                                  
[0698/0805] saving model.layers.67.mlp.gate_up_proj.q_scale
                                                                  
[0699/0805] saving model.layers.67.post_attention_layernorm.weight
                                                                  
[0700/0805] saving model.layers.67.self_attn.qkv_proj.q_weight
                                                                  
[0701/0805] saving model.layers.67.self_attn.qkv_proj.q_scale
                                                                  
[0702/0805] saving model.layers.67.self_attn.o_proj.q_weight
                                                                  
[0703/0805] saving model.layers.67.self_attn.o_proj.q_scale
                                                                  
[0704/0805] saving model.layers.68.input_layernorm.weight
                                                                  
[0705/0805] saving model.layers.68.mlp.down_proj.q_weight
                                                                  
[0706/0805] saving model.layers.68.mlp.down_proj.q_scale
                                                                  
[0707/0805] saving model.layers.68.mlp.gate_up_proj.q_weight
                                                                  
[0708/0805] saving model.layers.68.mlp.gate_up_proj.q_scale
                                                                  
[0709/0805] saving model.layers.68.post_attention_layernorm.weight
                                                                  
[0710/0805] saving model.layers.68.self_attn.qkv_proj.q_weight
                                                                  
[0711/0805] saving model.layers.68.self_attn.qkv_proj.q_scale
                                                                  
[0712/0805] saving model.layers.68.self_attn.o_proj.q_weight
                                                                  
[0713/0805] saving model.layers.68.self_attn.o_proj.q_scale
                                                                  
[0714/0805] saving model.layers.69.mlp.gate_up_proj.q_weight
                                                                  
[0715/0805] saving model.layers.69.mlp.gate_up_proj.q_scale
                                                                  
[0716/0805] saving model.layers.69.self_attn.qkv_proj.q_weight
                                                                  
[0717/0805] saving model.layers.69.self_attn.qkv_proj.q_scale
                                                                  
[0718/0805] saving model.layers.69.self_attn.o_proj.q_weight
                                                                  
[0719/0805] saving model.layers.69.self_attn.o_proj.q_scale
                                                                  
[0720/0805] saving model.layers.69.input_layernorm.weight
                                                                  
[0721/0805] saving model.layers.69.mlp.down_proj.q_weight
                                                                  
[0722/0805] saving model.layers.69.mlp.down_proj.q_scale
                                                                  
[0723/0805] saving model.layers.69.post_attention_layernorm.weight
                                                                  
[0724/0805] saving model.layers.70.input_layernorm.weight
                                                                  
[0725/0805] saving model.layers.70.mlp.down_proj.q_weight
                                                                  
[0726/0805] saving model.layers.70.mlp.down_proj.q_scale
                                                                  
[0727/0805] saving model.layers.70.mlp.gate_up_proj.q_weight
                                                                  
[0728/0805] saving model.layers.70.mlp.gate_up_proj.q_scale
                                                                  
[0729/0805] saving model.layers.70.post_attention_layernorm.weight
                                                                  
[0730/0805] saving model.layers.70.self_attn.qkv_proj.q_weight
                                                                  
[0731/0805] saving model.layers.70.self_attn.qkv_proj.q_scale
                                                                  
[0732/0805] saving model.layers.70.self_attn.o_proj.q_weight
                                                                  
[0733/0805] saving model.layers.70.self_attn.o_proj.q_scale
                                                                  
[0734/0805] saving model.layers.71.input_layernorm.weight
                                                                  
[0735/0805] saving model.layers.71.mlp.down_proj.q_weight
                                                                  
[0736/0805] saving model.layers.71.mlp.down_proj.q_scale
                                                                  
[0737/0805] saving model.layers.71.mlp.gate_up_proj.q_weight
                                                                  
[0738/0805] saving model.layers.71.mlp.gate_up_proj.q_scale
                                                                  
[0739/0805] saving model.layers.71.post_attention_layernorm.weight
                                                                  
[0740/0805] saving model.layers.71.self_attn.qkv_proj.q_weight
                                                                  
[0741/0805] saving model.layers.71.self_attn.qkv_proj.q_scale
                                                                  
[0742/0805] saving model.layers.71.self_attn.o_proj.q_weight
                                                                  
[0743/0805] saving model.layers.71.self_attn.o_proj.q_scale
                                                                  
[0744/0805] saving model.layers.72.mlp.gate_up_proj.q_weight
                                                                  
[0745/0805] saving model.layers.72.mlp.gate_up_proj.q_scale
                                                                  
[0746/0805] saving model.layers.72.self_attn.qkv_proj.q_weight
                                                                  
[0747/0805] saving model.layers.72.self_attn.qkv_proj.q_scale
                                                                  
[0748/0805] saving model.layers.72.self_attn.o_proj.q_weight
                                                                  
[0749/0805] saving model.layers.72.self_attn.o_proj.q_scale
                                                                  
[0750/0805] saving model.layers.72.input_layernorm.weight
                                                                  
[0751/0805] saving model.layers.72.mlp.down_proj.q_weight
                                                                  
[0752/0805] saving model.layers.72.mlp.down_proj.q_scale
                                                                  
[0753/0805] saving model.layers.72.post_attention_layernorm.weight
                                                                  
[0754/0805] saving model.layers.73.input_layernorm.weight
                                                                  
[0755/0805] saving model.layers.73.mlp.down_proj.q_weight
                                                                  
[0756/0805] saving model.layers.73.mlp.down_proj.q_scale
                                                                  
[0757/0805] saving model.layers.73.mlp.gate_up_proj.q_weight
                                                                  
[0758/0805] saving model.layers.73.mlp.gate_up_proj.q_scale
                                                                  
[0759/0805] saving model.layers.73.post_attention_layernorm.weight
                                                                  
[0760/0805] saving model.layers.73.self_attn.qkv_proj.q_weight
                                                                  
[0761/0805] saving model.layers.73.self_attn.qkv_proj.q_scale
                                                                  
[0762/0805] saving model.layers.73.self_attn.o_proj.q_weight
                                                                  
[0763/0805] saving model.layers.73.self_attn.o_proj.q_scale
                                                                  
[0764/0805] saving model.layers.74.input_layernorm.weight
                                                                  
[0765/0805] saving model.layers.74.mlp.down_proj.q_weight
                                                                  
[0766/0805] saving model.layers.74.mlp.down_proj.q_scale
                                                                  
[0767/0805] saving model.layers.74.mlp.gate_up_proj.q_weight
                                                                  
[0768/0805] saving model.layers.74.mlp.gate_up_proj.q_scale
                                                                  
[0769/0805] saving model.layers.74.post_attention_layernorm.weight[2024-01-30 12:20:18] INFO convert_weight.py:143: Saved to directory: /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c
+
                                                                  
[0770/0805] saving model.layers.74.self_attn.qkv_proj.q_weight
                                                                  
[0771/0805] saving model.layers.74.self_attn.qkv_proj.q_scale
                                                                  
[0772/0805] saving model.layers.74.self_attn.o_proj.q_weight
                                                                  
[0773/0805] saving model.layers.74.self_attn.o_proj.q_scale
                                                                  
[0774/0805] saving model.layers.75.self_attn.qkv_proj.q_weight
                                                                  
[0775/0805] saving model.layers.75.self_attn.qkv_proj.q_scale
                                                                  
[0776/0805] saving model.layers.75.self_attn.o_proj.q_weight
                                                                  
[0777/0805] saving model.layers.75.self_attn.o_proj.q_scale
                                                                  
[0778/0805] saving model.layers.75.input_layernorm.weight
                                                                  
[0779/0805] saving model.layers.75.mlp.down_proj.q_weight
                                                                  
[0780/0805] saving model.layers.75.mlp.down_proj.q_scale
                                                                  
[0781/0805] saving model.layers.75.mlp.gate_up_proj.q_weight
                                                                  
[0782/0805] saving model.layers.75.mlp.gate_up_proj.q_scale
                                                                  
[0783/0805] saving model.layers.75.post_attention_layernorm.weight
                                                                  
[0784/0805] saving model.layers.76.input_layernorm.weight
                                                                  
[0785/0805] saving model.layers.76.mlp.down_proj.q_weight
                                                                  
[0786/0805] saving model.layers.76.mlp.down_proj.q_scale
                                                                  
[0787/0805] saving model.layers.76.mlp.gate_up_proj.q_weight
                                                                  
[0788/0805] saving model.layers.76.mlp.gate_up_proj.q_scale
                                                                  
[0789/0805] saving model.layers.76.post_attention_layernorm.weight
                                                                  
[0790/0805] saving model.layers.76.self_attn.qkv_proj.q_weight
                                                                  
[0791/0805] saving model.layers.76.self_attn.qkv_proj.q_scale
                                                                  
[0792/0805] saving model.layers.76.self_attn.o_proj.q_weight
                                                                  
[0793/0805] saving model.layers.76.self_attn.o_proj.q_scale
                                                                  
[0794/0805] saving model.layers.77.input_layernorm.weight
                                                                  
[0795/0805] saving model.layers.77.mlp.down_proj.q_weight
                                                                  
[0796/0805] saving model.layers.77.mlp.down_proj.q_scale
                                                                  
[0797/0805] saving model.layers.77.mlp.gate_up_proj.q_weight
                                                                  
[0798/0805] saving model.layers.77.mlp.gate_up_proj.q_scale
                                                                  
[0799/0805] saving model.layers.77.post_attention_layernorm.weight
                                                                  
[0800/0805] saving model.layers.77.self_attn.qkv_proj.q_weight
                                                                  
[0801/0805] saving model.layers.77.self_attn.qkv_proj.q_scale
                                                                  
[0802/0805] saving model.layers.77.self_attn.o_proj.q_weight
                                                                  
[0803/0805] saving model.layers.77.self_attn.o_proj.q_scale
                                                                  
[0804/0805] saving model.layers.78.self_attn.qkv_proj.q_weight
                                                                  
[0805/0805] saving model.layers.78.self_attn.qkv_proj.q_scale
+All finished, 480 total shards committed, record saved to /var/folders/50/mzqbqxqj5fddcby2mg3h334c0000gp/T/tmpzztwuy6c/ndarray-cache.json